CN108171748A - 一种面向机器人智能抓取应用的视觉识别与定位方法 - Google Patents

一种面向机器人智能抓取应用的视觉识别与定位方法 Download PDF

Info

Publication number
CN108171748A
CN108171748A CN201810063064.4A CN201810063064A CN108171748A CN 108171748 A CN108171748 A CN 108171748A CN 201810063064 A CN201810063064 A CN 201810063064A CN 108171748 A CN108171748 A CN 108171748A
Authority
CN
China
Prior art keywords
image
depth
convolutional neural
neural networks
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810063064.4A
Other languages
English (en)
Other versions
CN108171748B (zh
Inventor
丁亮
程栋梁
周如意
刘振
王亚运
蒋鸣鹤
于振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hagong Huicai Intelligent Technology Co ltd
Original Assignee
HRG International Institute for Research and Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRG International Institute for Research and Innovation filed Critical HRG International Institute for Research and Innovation
Priority to CN201810063064.4A priority Critical patent/CN108171748B/zh
Publication of CN108171748A publication Critical patent/CN108171748A/zh
Application granted granted Critical
Publication of CN108171748B publication Critical patent/CN108171748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及一种面向机器人智能抓取应用的视觉识别与定位方法，通过采集RGB‑D场景图像，利用监督训练后的深度卷积神经网络识别彩色图像中包含目标的类别及其对应位置区域，结合深度图像分析目标位姿状态，通过坐标变换得到控制器所需位姿信息，完成视觉识别与定位。该方法仅通过单一视觉传感器即实现识别与定位双功能，简化了现有的目标检测过程，节约了应用成本。同时，采用深度卷积神经网络通过学习得到图像特征，对目标随意摆放、图像视角变化、光照背景干扰等多重环境干扰具有较强的鲁棒性，提高了复杂工况下的识别与定位准确率。此外，该定位方法在确定物体空间位置分布的基础上能更进一步得到确切的姿态信息，有利于智能抓取的策略规划。

Description

一种面向机器人智能抓取应用的视觉识别与定位方法
【技术领域】
本发明属于智能机器人领域，具体涉及一种面向机器人智能抓取应用的视觉识别与定位方法。
【背景技术】
在智能化物流仓储系统中，具有智能抓取能力的移动作业机器人是实现高效无人运作的重要载体。机器人根据订单需求，在仓库中自主导航，抓取货架上的目标商品，实现无人化物料分拣。在商品抓取过程中，机器人的视觉系统对目标商品的正确识别和精确定位是抓取成功的先决条件，及时为机器人的运动控制提供精确的视觉感知信号才能保证抓取任务的成功完成。
机器人抓取的视觉识别方案多采用人工特征描述配合分类器分类的方式进行。其中人工设计的特征对于商品随意摆放、图像视角变化、光照变化、背景干扰等情况下的检测没有很好的鲁棒性，很大程度上影响实际检测效果。
视觉定位方面，现有技术中的一种方法是在待抓取商品上布置商品信息标签，标签包含待抓取商品的尺寸信息以及标签在商品上的位置信息，利用图像获取静止状态下的待抓取商品图像，通过识别和定位信息标签进而得出商品抓取方法。该方法在每个产品上设置标签，需要额外人工参与，智能化程度不高。
现有技术中的另一种方法是通过采集RGB-D图像，基于深度学习进行候选区域划分，经过白化处理后输入训练好的神经网络获取抓取位置。该方法在区域划分时每张图片要产生数千个候选区域，将每个候选区域输入卷积神经网络进行检测，计算量大，检测速度慢，不适用于实时性能要求较高的领域。且该方式仅能获取到目标物的抓取候选区域，无法确定目标的三维姿态，因此对于随意放置的目标物难以根据其不同位姿规划出最佳抓取方式。
总之，现有机器人视觉抓取技术中，识别与定位在检测过程中常分为两个步骤进行，整体上智能化程度不高，鲁棒性能不佳，且多因检测精度与速度相互制衡，难以达到应用标准。同时，这些检测方法多用于物品规则放置、采用单一抓取策略的条件，对于随意摆放的商品，其姿态信息没有得到很好的检测，不利于抓取方式规划及抓取成功率的提高。
【发明内容】
为了解决现有技术中的上述问题，本发明提供了一种面向机器人智能抓取应用的视觉识别与定位方法，过程上将识别与定位步骤合二为一，简化检测过程；功能上增加姿态检测，适用于随意摆放的商品抓取策略规划；性能上既适应随意摆放、图像视角变化、光照背景干扰等扰动因素，又能有较优的实时性能，提高商品识别与抓取成功的概率。
本发明采用的技术方案如下：
一种面向机器人智能抓取应用的视觉识别与定位方法，包括以下步骤：
(1)图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB-D场景图像，所述RGB-D场景图像由彩色(RGB)图像和深度(Depth)图像组成；
(2)多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含哪些目标对象及其相应位置区域；
(3)点云分割步骤：借助视觉传感器内部参数，与深度图像转换成场景三维点云，提取点云中步骤(2)检测出的各对象对应位置区域；利用聚类算法进行进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；
(4)位姿求解步骤：采用PCA主成分分析法，提取步骤(3)分割出的点集特征向量，得出目标物体在视觉传感器坐标下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数；
(5)坐标变换步骤：根据位姿求解结果，采用坐标变换矩阵，将相对于视觉传感器的位姿四元数转换成控制器所需坐标系下的对应参数，并将结果传送给控制系统。
进一步地，所述图像采集步骤包括：机器人采用深度相机，在距离货架1米左右的位置采集场景中的彩色图像和深度图像，彩色图像包含场景中目标物表面颜色信息和纹理信息，深度图像包含场景中目标物的空间状态信息，深度图像中的每个像素点的像素值表示传感器到实体对象的距离，彩色图像和深度图像中的像素点通过视觉传感器内参校正后一一对应，组成RGB-D图像。
进一步地，所述深度卷积神经网络针对特定检测任务生成，其生成过程包括深度学习数据集构建步骤、深度卷积神经网络构建步骤，以及深度卷积神经网络离线训练步骤，具体如下：
(A)深度学习数据集构建步骤：根据检测对象及任务需求采集对应场景下的样本图像，借助开源工具人工标注样本图像，标注信息包括场景中目标对象所属类别及其对应位置区域；
(B)深度卷积神经网络构建步骤：使用基础网络和附加网络组成所述深度卷积神经网络，基础网络用于提取特征，附加网络利用提取的多尺度特征图进行目标分类和位置回归；
(C)深度卷积神经网络离线训练步骤：针对自建小规模数据集进行数据增强处理，初始化深度卷积神经网络各项参数，设置训练参数进行网络权重参数的学习与迭代更新，利用训练得到的权重参数预测相似场景图像中包含的目标物体及其对应位置区域。
进一步地，所述基础网络采用VGG-16作为原型，在保持整体结构不变的情况下对网络进行局部修改，优化特征提取性能；所述局部修改的地方包括：pool5层以1进行边缘填充后采用3×3的核进行池化，并以1步幅移动遍历；conv6和conv7层将全连接操作改成卷积操作；conv6采用膨胀卷积操作。
进一步地，所述附加网络通过共享卷积特征图的方式，将类别预测和位置回归步骤合二为一，根据提取的多尺度特征图输出三通道检测结果，三通道输出向量分别包括：各特征图上的各个预设的包围框位置(cx，cy，w，h)，其中(cx，cy)代表包围框的中心坐标，w和h是包围框的长宽尺寸；位置预测各实际包围框相对于该位置上预设包围框的位置偏移量(△cx，△cy，△w，△h)；类别预测结果表示每个预设包围框框选对象属于各个类别的概率，概率最大项即为包围框框选对象类别的预测结果。
进一步地，所述数据增强处理是指：对给定样本图像进行随机裁剪、水平翻转、尺寸缩放、色调调整、亮度调整、饱和度调整等预处理，最终将图像统一缩放到300×300大小；
所述初始化深度卷积神经网络参数是指：采用VGG-16在ImageNet上的训练结果初始化结构相同的卷积层权重及阈值，其余新增层参数采用Xavier算法初始化；
所述网络权重参数的迭代更新是指：将预处理好的给定样本集输入深度卷积神经网络，设置训练参数采用反向传播算法训练迭代至结果收敛，对整个网络进行参数的整体优化；其中，反向传播进行训练的损失函数L为：
L＝(Lconf+αLloc)/N
其中，Lconf表示置信损失，即类别预测结果与真实结果的偏差度量；Lloc表示位置损失，即位置预测结果与真实位置之间的偏差度量；α为权重系数，调整置信损失与位置损失在与预测结果中的权重；N为匹配的预设包围框数，若N＝0，则记L＝0；通过置信损失和位置损伤的加权综合得到多目标类别预测及其位置区域预测的整体损失度量。
进一步地，所述点云分割步骤中，所述聚类算法常采用基于距离进行聚类的K-means算法，将点云聚类成物体与背景两个簇，提取出属于目标物体的点云，过滤去除背景噪点。
进一步地，所述采用RanSaC检测方法分割出点云模型中代表性几何特征点集是指：借助步骤(2)物体类别检测结果，判断目标物体可能带有的代表性几何特征，通常为平面、圆柱面或球面等规则几何特征，检测点云集中代表性几何特征存在性并分割出相应区域点云。代表性几何特征的判断以物体类别检测结果为基础。
进一步地，所述PCA主成分分析法是指：根据分割得到的点云特征点集，计算点云集坐标分布特征的协方差矩阵，协方差矩阵最大特征值对应的特征向量即为该点集的主方向，次大特征值对应的特征向量正交于最大特征向量为副方向，由主方向方向矢量叉乘副方向方向矢量确定表面法向。
进一步地，所述坐标变换矩阵表示表示由相机物理坐标系到控制器所需坐标系下的坐标齐次变换关系，控制器所需坐标系通常取机械臂末端执行器物理坐标系，坐标变换矩阵由视觉标定生成，标定过程包括：借助标准标定板，通过多视角标定图像中角点及其几何关系，标定相机内参，校正相机物理坐标系；借助标准标定板，通过机器人机械臂关节运动参数和多视角标定图像角点坐标变换关系，标定相机物理坐标系与机械臂末端执行器物理坐标系间的齐次变换；结合相机内参与齐次变换矩阵转换位姿至控制系统所需坐标系下，并将视觉识别与位姿检测结果传送给控制系统。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明识别与定位方法的流程示意图。
图2是本发明深度卷积神经网络结构图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
首先，本发明针对机器人的视觉识别与定位对象，构建和训练相应的深度卷积神经网络，具体包括深度学习数据集构建步骤、深度卷积神经网络构建步骤，以及深度卷积神经网络离线训练步骤，详细说明如下：
(A)深度学习数据集构建步骤：根据检测对象及任务需求采集对应场景下的样本图像，借助开源工具人工标注样本图像，标注信息包括场景中目标对象所属类别及其对应位置区域。
所述样本图像包括机器人所要识别的货品图像，具体采集什么样的图像取决于具体的识别目标，可以采用实际采集的场景图像作为样本。
(B)深度卷积神经网络构建步骤：构建的深度卷积神经网络由基础网络和附加网络两部分组成，基础网络用于提取特征，附加网络利用提取的多尺度特征图进行目标分类和位置回归(如图2所示)。
基础网络采用VGG-16作为原型，在保持整体结构不变的情况下进行局部修改，优化特征提取性能。实际采用的基础网络层次结构及参数情况如表1所示：
表1：基础网络的层次结构及参数
所述局部修改的地方为：(1)pool5层以1进行边缘填充后采用3×3的核进行池化，并以1步幅移动，虽经过一次池化操作，但不会改变特征图的尺寸；(2)conv6和conv7层将全连接操作改成卷积操作，减少训练参数的同时为附加网络保留了细节更丰富的特征图；(3)conv6采用膨胀卷积操作，使用较少的计算来覆盖较大的感受野，并在一定程度上抑制过拟合的产生。
附加网络通过共享卷积特征图的方式，将类别预测和位置回归步骤合二为一，根据提取的多尺度特征图输出三通道检测结果。三通道输出向量分别包括：各特征图上的各个预设的包围框位置(cx，cy，w，h)，其中(cx，cy)代表包围框的中心坐标，w和h是包围框的长宽尺寸。位置预测各实际包围框相对于该位置上预设包围框的位置偏移量，记为(△cx，△cy，△w，△h)。类别预测每个预设包围框框选对象属于各个类别的可能性大小，记为(c1,c2,…,cp)。
其中，所述预设包围框是指：由提取的特征图上根据尺寸大小均匀设置，并且同一位置设置多种不同纵横比的包围框，各层包围框的尺寸等差分布。
所述位置预测是指：对于任意提取的特征图，使用3×3的卷积核进行卷积滤波，滤波产生预测包围框相对于该位置上预设包围框的位置微调量，进而得到位置回归结果。
所述类别预测是指：将背景当作种类之一，使用卷积滤波预测每个预设包围框框选对象属于各个待识别货品或背景的概率大小。
(C)深度卷积神经网络离线训练步骤：针对自建小规模数据集进行数据增强处理，初始化深度卷积神经网络各项参数，设置训练参数进行网络权重参数的学习与迭代更新，利用训练得到的权重参数预测相似场景图像中包含的目标物体及其对应位置区域。
优选地，所述数据增强处理是指：对给定样本图像进行随机裁剪、水平翻转、尺寸缩放、色调调整、亮度调整、饱和度调整等预处理，最终将图像统一缩放到300×300大小，扩增样本数量和多样性。
优选地，所述的初始化深度卷积神经网络各项参数是指：采用VGG-16在ImageNet上的训练结果初始化重叠的卷积层权重，其余新增层参数采用Xavier算法初始化。
所述的网络权重参数的学习与迭代更新是指：将预处理好的给定样本输入深度卷积神经网络，设置训练参数采用反向传播算法训练迭代至结果收敛，对整个网络进行参数的整体优化。其中，反向传播进行训练的损失函数L为：
L＝(Lconf+αLloc)/N
其中，Lconf表示置信损失，即类别预测结果与真实结果的偏差度量；Lloc表示位置损失，即位置预测结果与真实位置之间的偏差度量；α为权重系数，调整置信损失与位置损失在预测结果中的权重，优选的，α＝1；N为匹配的预设包围框数，若N＝0，则记L＝0。通过置信损失和位置损伤的加权综合得到多目标类别预测及其位置区域预测的整体损失度量。
在完成了上述深度卷积神经网络后，本发明的方法在进行具体识别与定位时，进一步包括图像采集步骤、多目标识别与区域检测步骤、点云提纯步骤、位姿求解步骤和坐标系变换步骤，具体说明如下：
(1)图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB-D场景图像。
具体地，机器人采用Kinect深度相机，在距离货架1米左右的位置采集场景中的彩色图像和深度图像，彩色图像包含场景中待抓取目标物表面颜色信息和纹理信息，深度图像包含场景中待抓取目标物的空间状态信息，深度图像中的每个像素点对应像素值表示传感器距离待抓取目标物的距离，彩色图像和深度图像中的像素点通过视觉传感器内参校正后一一对应，组成RGB-D图像。
(2)多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含哪些目标对象及其相应位置区域。
所述深度卷积神经网络通过上述步骤A-C训练获得，其输出为图像中包含的目标类别以及目标在图像中的对应位置区域。其中目标区域以其所在矩形包围框左上和右下角点坐标确定。
(3)点云分割步骤：借助视觉传感器内部参数，将深度图像转换成场景三维点云，分割出点云中步骤(2)检测出的各对象对应位置区域；利用聚类算法进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集。
优选地，所述聚类算法采用基于距离进行聚类的K-means算法，将点云聚类成物体与背景两个簇，提取出属于目标物体的点云，过滤去除背景噪点。
优选地，所述利用RanSaC检测方法分割出点云模型中代表性几何特征点集是指：借助步骤(2)物体类别检测结果，判断目标物体可能带有的代表性几何特征，通常为平面、圆柱面或球面等规则几何特征，检测点云集中代表性几何特征存在性并分割出相应区域点云。代表性几何特征的判断以物体类别检测结果为基础。
(4)位姿求解步骤：采用PCA主成分分析法，提取步骤(3)分割出的点集特征向量，得出目标物体在视觉传感器坐标系下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数。
优选地，所述PCA主成分分析法是指：根据分割得到的几何特征点集，计算点云集坐标分布特征的协方差矩阵，协方差矩阵最大特征值对应的特征向量即为该点集的主方向，次大特征值对应的特征向量正交于最大特征向量为副方向，由主方向方向矢量叉乘副方向方向矢量确定表面法向。
(5)坐标变换步骤：根据位姿求解结果，采用坐标变换矩阵，将相对于视觉传感器的位姿四元数转换成控制器所需坐标系下的对应参数，并将结果传送给控制系统。
具体的，所述坐标变换矩阵表示由相机物理坐标系到控制器所需坐标系下的坐标齐次变换关系，控制器所需坐标系通常取机械臂末端执行器物理坐标系，坐标变换矩阵由视觉标定生成，标定过程包括：借助标准标定板，通过多视角标定图像中角点及其几何关系，标定相机内参，校正相机物理坐标系；借助标准标定板，通过机器人机械臂关节运动参数和多视角标定图像角点坐标变换关系，标定相机物理坐标系与机械臂末端执行器物理坐标系间的齐次变换；结合相机内参与齐次变换矩阵转换位姿至控制系统所需坐标系下，并将视觉识别与位姿检测结果传送给控制系统。
本发明提供的面向机器人抓取应用的视觉识别与定位方法可以直接利用获取的图像信息确定视野中包含的目标类别及其位姿。采用深度学习卷积神经网络，将多目标识别与位置回归步骤合二为一，简化检测过程提高了检测速度；且利用卷积神经网络提取的特征能够在复杂的工作环境中做出合理的判断，对多重环境干扰具有很强的鲁棒性能，提高了识别准确率；其定位方法能够在确定物体位置分布的基础上得到更进一步的姿态信息，便于下一步进行抓取策略规划，正确引导机器人采用不同的方式进行分类抓取，智能化程度高，实现了真正的无人化操作。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种面向机器人智能抓取应用的视觉识别与定位方法，其特征在于，包括以下步骤：
(1)图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB-D场景图像，所述RGB-D场景图像由彩色(RGB)图像和深度(Depth)图像组成；
(2)多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含的目标对象类别及其相应位置区域；
(3)点云分割步骤：借助视觉传感器内部参数，将深度图像转换成场景三维点云，分割出点云中步骤(2)检测出的各对象对应位置区域；利用聚类算法进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；
(4)位姿求解步骤：采用PCA主成分分析法，提取步骤(3)分割出的点集特征向量，得出目标物体在视觉传感器坐标系下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数；
(5)坐标变换步骤：根据位姿求解结果，采用坐标变换矩阵，将相对于视觉传感器的位姿四元数转换成控制器所需坐标系下的对应参数，并将结果传送给控制系统。
2.根据权利要求1所述的方法，其特征在于，所述图像采集步骤包括：机器人采用深度相机，在距离货架1米左右的位置采集场景中的彩色图像和深度图像，彩色图像包含场景中目标物表面颜色信息和纹理信息，深度图像包含场景中目标物的空间状态信息，深度图像中每个像素点的像素值表示传感器到实体对象的距离，彩色图像和深度图像中的像素点通过视觉传感器内参校正后一一对应，组成RGB-D图像。
3.根据权利要求1-2任意一项所述的方法，其特征在于，所述深度卷积神经网络针对特定检测任务生成，其生成过程包括深度学习数据集构建步骤、深度卷积神经网络构建步骤，以及深度卷积神经网络离线训练步骤，具体如下：
(A)深度学习数据集构建步骤：根据检测对象及任务需求采集对应场景下的样本图像，借助开源工具人工标注样本图像，标注信息包括场景中目标对象所属类别及其对应位置区域；
(B)深度卷积神经网络构建步骤：采用基础网络和附加网络组成所述深度卷积神经网络，基础网络用于提取特征，附加网络利用提取的多尺度特征图进行目标分类和位置回归；
(C)深度卷积神经网络离线训练步骤：针对自建小规模数据集进行数据增强处理，初始化深度卷积神经网络各项参数，设置训练参数进行网络权重参数的学习与迭代更新，利用训练得到的权重参数预测相似场景图像中包含的目标物体及其对应位置区域。
4.根据权利要求3所述的方法，其特征在于，所述基础网络采用VGG-16作为原型，在保持整体结构不变的情况下对网络进行局部修改，优化特征提取性能；所述局部修改的地方包括：pool5层以1进行边缘填充后采用3×3的核进行池化，并以1步幅移动遍历；conv6和conv7层将全连接操作改成卷积操作；conv6采用膨胀卷积操作。
5.根据权利要求3所述的方法，其特征在于，所述附加网络通过共享卷积特征图的方式，将类别预测和位置回归步骤合二为一，根据提取的多尺度特征图输出三通道检测结果，三通道输出向量分别包括：各特征图上的各个预设的包围框位置(cx，cy，w，h)，其中(cx，cy)代表包围框的中心坐标，w和h是包围框的长宽尺寸；位置预测各实际包围框相对于该位置上预设包围框的位置偏移量(△cx，△cy，△w，△h)；类别预测结果表示为每个预设包围框框选对象属于各个目标类别的概率，概率最大项即包围框框选对象类别的预测结果。
6.根据权利要求3所述的方法，其特征在于，所述数据增强处理是指：对给定样本图像进行随机裁剪、水平翻转、尺寸缩放、色调调整、亮度调整、饱和度调整等预处理，最终将图像统一缩放到300×300大小；
所述初始化深度卷积神经网络各项参数是指：采用VGG-16在ImageNet上的训练结果初始化结构相同的卷积层权重及阈值，其余新增层参数采用Xavier算法初始化；
所述网络权重参数的学习与迭代更新是指：将预处理好的训练样本集输入深度卷积神经网络，设置训练参数采用反向传播算法训练迭代至结果收敛，对整个网络进行参数的整体优化；其中，反向传播进行训练的损失函数L为：
L＝(Lconf+αLloc)/N
其中，Lconf表示置信损失，即类别预测结果与真实结果的偏差度量；Lloc表示位置损失，即位置预测结果与真实位置之间的偏差度量；α为权重系数，调整置信损失与位置损失在预测结果中的权重；N为匹配的预设包围框数，若N＝0，则记L＝0；通过置信损失和位置损伤的加权综合得到多目标类别预测及其位置区域预测的整体损失度量。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述点云分割步骤中，所述聚类算法常采用基于距离进行聚类的K-means算法，将点云聚类成物体与背景两个簇，提取出属于目标物体的点云，过滤去除背景噪点。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述利用RanSaC检测方法分割出点云模型中代表性几何特征点集是指：借助步骤(2)物体类别检测结果，判断目标物体可能带有的代表性几何特征，通常为平面、圆柱面或球面等规则几何特征，检测点云集中代表性几何特征存在性并分割出相应区域点云。代表性几何特征的判断以物体类别检测结果为基础。
9.根据权利要求1-8任意一项所述的方法，其特征在于，所述PCA主成分分析法是指：根据分割得到的几何特征点集，计算点云集坐标分布特征的协方差矩阵，协方差矩阵最大特征值对应的特征向量即为该点集的主方向，次大特征值对应的特征向量正交于最大特征向量为副方向，由主方向方向矢量叉乘副方向方向矢量确定表面法向。
10.根据权利要求1-9任意一项所述的方法，其特征在于，所述坐标变换矩阵表示由相机物理坐标系到控制器所需坐标系下的坐标齐次变换关系，控制器所需坐标系通常取机械臂末端执行器物理坐标系，坐标变换矩阵由视觉标定生成，标定过程包括：借助标准标定板，通过多视角标定图像中角点及其几何关系，标定相机内参，校正相机物理坐标系；借助标准标定板，通过机器人机械臂关节运动参数和多视角标定图像角点坐标变换关系，标定相机物理坐标系与机械臂末端执行器物理坐标系间的齐次变换；结合相机内参与齐次变换矩阵转换位姿至控制系统所需坐标系下，并将视觉识别与位姿检测结果传送给控制系统。
CN201810063064.4A 2018-01-23 2018-01-23 一种面向机器人智能抓取应用的视觉识别与定位方法 Active CN108171748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810063064.4A CN108171748B (zh) 2018-01-23 2018-01-23 一种面向机器人智能抓取应用的视觉识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810063064.4A CN108171748B (zh) 2018-01-23 2018-01-23 一种面向机器人智能抓取应用的视觉识别与定位方法

Publications (2)

Publication Number Publication Date
CN108171748A true CN108171748A (zh) 2018-06-15
CN108171748B CN108171748B (zh) 2021-12-07

Family

ID=62515607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810063064.4A Active CN108171748B (zh) 2018-01-23 2018-01-23 一种面向机器人智能抓取应用的视觉识别与定位方法

Country Status (1)

Country Link
CN (1) CN108171748B (zh)

Cited By (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN108932735A (zh) * 2018-07-10 2018-12-04 广州众聚智能科技有限公司 一种生成深度学习样本的方法
CN109034065A (zh) * 2018-07-27 2018-12-18 西安理工大学 一种基于点云的室内场景物体提取方法
CN109063827A (zh) * 2018-10-25 2018-12-21 电子科技大学 有限空间内自动拿取特定行李的方法、系统、存储介质和终端
CN109086736A (zh) * 2018-08-17 2018-12-25 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109101967A (zh) * 2018-08-02 2018-12-28 苏州中德睿博智能科技有限公司 基于视觉的目标对象识别与定位方法、终端以及存储介质
CN109159113A (zh) * 2018-08-14 2019-01-08 西安交通大学 一种基于视觉推理的机器人作业方法
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN109214484A (zh) * 2018-09-20 2019-01-15 深圳蓝胖子机器人有限公司 无人便利店控制方法、装置和计算机可读存储介质
CN109215080A (zh) * 2018-09-25 2019-01-15 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
CN109241856A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 一种单目车载视觉系统立体目标检测方法
CN109291657A (zh) * 2018-09-11 2019-02-01 东华大学 基于卷积神经网络航天结构件工业物联标识激光打码系统
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN109341689A (zh) * 2018-09-12 2019-02-15 北京工业大学 基于深度学习的移动机器人视觉导航方法
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109341691A (zh) * 2018-09-30 2019-02-15 百色学院 基于图标识别的智能室内定位系统及其定位方法
CN109358628A (zh) * 2018-11-06 2019-02-19 江苏木盟智能科技有限公司 一种货箱对位方法及机器人
CN109352646A (zh) * 2018-09-30 2019-02-19 泰安康平纳机械有限公司 纱线自动装卸方法及系统
CN109410275A (zh) * 2018-10-15 2019-03-01 深圳步智造科技有限公司 位置预测方法、装置、设备以及可读存储介质
CN109448057A (zh) * 2018-11-02 2019-03-08 宁夏巨能机器人股份有限公司 一种基于三维点云的安全定位方法
CN109448058A (zh) * 2018-11-12 2019-03-08 北京拓疆者智能科技有限公司 装载位置三维坐标获取方法、系统及图像识别设备
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109459984A (zh) * 2018-11-02 2019-03-12 宁夏巨能机器人股份有限公司 一种基于三维点云的定位抓取系统及其使用方法
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109493369A (zh) * 2018-09-11 2019-03-19 深圳控石智能系统有限公司 一种智能机器人视觉动态定位跟踪方法及系统
CN109522969A (zh) * 2018-11-29 2019-03-26 南京云思创智信息科技有限公司 基于深度学习的特定物品发现方法
CN109531584A (zh) * 2019-01-31 2019-03-29 北京无线电测量研究所 一种基于深度学习的机械臂控制方法和装置
CN109584298A (zh) * 2018-11-07 2019-04-05 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法
CN109636814A (zh) * 2018-12-18 2019-04-16 联想(北京)有限公司 一种图像处理方法及电子设备
CN109658388A (zh) * 2018-11-29 2019-04-19 湖南视比特机器人有限公司 基于视觉和主动交互的包装箱分割错误的检测与矫正方法
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109697730A (zh) * 2018-11-26 2019-04-30 深圳市德富莱智能科技股份有限公司 基于光学识别的ic芯片处理方法、系统及存储介质
CN109708658A (zh) * 2019-01-14 2019-05-03 浙江大学 一种基于卷积神经网络的视觉里程计方法
CN109702741A (zh) * 2018-12-26 2019-05-03 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN109784333A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及系统
CN109781003A (zh) * 2019-02-11 2019-05-21 华侨大学 一种结构光视觉系统的下一最佳测量位姿确定方法
CN109800874A (zh) * 2018-12-29 2019-05-24 复旦大学 一种机器视觉神经网络的训练方法、设备及存储介质
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN109859256A (zh) * 2019-03-13 2019-06-07 大连理工大学 一种基于自动对应点匹配的三维点云配准方法
CN109859208A (zh) * 2019-01-03 2019-06-07 北京化工大学 基于凹凸性和rsd特征的场景分割与目标建模方法
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN109934230A (zh) * 2018-09-05 2019-06-25 浙江大学 一种基于视觉辅助的雷达点云分割方法
CN109940606A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 基于点云数据的机器人引导系统及方法
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN110000785A (zh) * 2019-04-11 2019-07-12 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN110009682A (zh) * 2019-03-29 2019-07-12 北京理工大学 一种基于单目视觉的目标识别定位方法
CN110014426A (zh) * 2019-03-21 2019-07-16 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110059676A (zh) * 2019-04-03 2019-07-26 北京航空航天大学 一种基于深度学习与多目标分布排序的航空插头孔位识别方法
CN110063157A (zh) * 2019-04-30 2019-07-30 浙江大学 一种矮化密植枣树修剪、环割机器人
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110223351A (zh) * 2019-05-30 2019-09-10 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110271006A (zh) * 2019-07-19 2019-09-24 北京农业智能装备技术研究中心 机械臂视觉引导方法及装置
CN110298292A (zh) * 2019-06-25 2019-10-01 东北大学 基于规则多边形物体角点检测的高精度实时抓取检测方法
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
CN110363252A (zh) * 2019-07-24 2019-10-22 山东大学 趋向于端到端的场景文字检测与识别方法以及系统
CN110363127A (zh) * 2019-07-04 2019-10-22 陕西丝路机器人智能制造研究院有限公司 机器人对工件关键点识别与定位的方法
CN110378325A (zh) * 2019-06-20 2019-10-25 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN110378942A (zh) * 2018-08-23 2019-10-25 北京京东尚科信息技术有限公司 基于双目相机的障碍物标识方法、系统、设备和存储介质
CN110400345A (zh) * 2019-07-24 2019-11-01 西南科技大学 基于深度强化学习的放射性废物推抓协同分拣方法
CN110428464A (zh) * 2019-06-24 2019-11-08 浙江大学 基于深度学习的多类别乱序工件机器人抓取位姿估计方法
CN110455189A (zh) * 2019-08-26 2019-11-15 广东博智林机器人有限公司 一种大尺寸物料的视觉定位方法和搬运机器人
CN110509273A (zh) * 2019-08-16 2019-11-29 天津职业技术师范大学(中国职业培训指导教师进修中心) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN110544233A (zh) * 2019-07-30 2019-12-06 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法
CN110660101A (zh) * 2019-08-19 2020-01-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN110653820A (zh) * 2019-09-29 2020-01-07 东北大学 一种结合几何约束的机器人抓取位姿估计方法
CN110765852A (zh) * 2019-09-09 2020-02-07 珠海格力电器股份有限公司 一种获取图像中人脸方向的方法及装置
CN110781717A (zh) * 2019-08-09 2020-02-11 浙江零跑科技有限公司 一种驾驶室场景语义与视深联合分析方法
CN110826377A (zh) * 2018-08-13 2020-02-21 珠海格力电器股份有限公司 物料分拣方法以及装置
CN110826448A (zh) * 2019-10-29 2020-02-21 中山大学 一种自主更新的室内定位方法
WO2020061725A1 (en) * 2018-09-25 2020-04-02 Shenzhen Dorabot Robotics Co., Ltd. Method and system of detecting and tracking objects in a workspace
CN110956086A (zh) * 2019-10-24 2020-04-03 国家电网有限公司 一种基于图像识别技术的机房设备在线识别方法
CN110961756A (zh) * 2019-12-23 2020-04-07 深圳市迈威测控技术有限公司 用于焊锡机的焊咀旋转偏差或更换误差校正方法及装置
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
CN110992422A (zh) * 2019-11-04 2020-04-10 浙江工业大学 一种基于3d视觉的药盒姿态估计方法
CN111037558A (zh) * 2019-12-23 2020-04-21 北京航天计量测试技术研究所 一种自动识别抓取方法及系统
CN111046796A (zh) * 2019-12-12 2020-04-21 哈尔滨拓博科技有限公司 一种基于双摄像头深度信息的低成本空间手势控制方法及系统
CN111046843A (zh) * 2019-12-27 2020-04-21 华南理工大学 一种智能驾驶环境下的单目测距方法
CN111062387A (zh) * 2019-12-09 2020-04-24 熵智科技(深圳)有限公司 一种传送带上物品的识别方法、抓取方法及相关设备
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111105181A (zh) * 2018-10-25 2020-05-05 格雷奥朗佩特有限公司 用于订单履行的识别和计划系统及方法
CN111144401A (zh) * 2019-11-06 2020-05-12 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN111191582A (zh) * 2019-12-27 2020-05-22 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
WO2020098674A1 (en) * 2018-11-14 2020-05-22 Huawei Technologies Co., Ltd. Method and system for deep neural networks using dynamically selected feature-relevant points from point cloud
CN111203878A (zh) * 2020-01-14 2020-05-29 北京航空航天大学 一种基于视觉模仿的机器人序列任务学习方法
CN111259843A (zh) * 2020-01-21 2020-06-09 敬科(深圳)机器人科技有限公司 基于视觉稳定特征分类配准的多媒体导航仪测试方法
CN111251294A (zh) * 2020-01-14 2020-06-09 北京航空航天大学 一种基于视觉位姿感知和深度强化学习的机器人抓取方法
CN111275063A (zh) * 2018-12-04 2020-06-12 广州中国科学院先进技术研究所 一种基于3d视觉的机器人智能抓取控制方法及系统
CN111310637A (zh) * 2020-02-11 2020-06-19 山西大学 一种基于尺度不变网络的机器人目标抓取检测方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN111397581A (zh) * 2020-02-27 2020-07-10 清华大学 基于红外led点阵的视觉定位靶标及靶标测量场
CN111461003A (zh) * 2020-03-31 2020-07-28 湖南大学 基于视频图像序列特征提取的燃煤工况识别方法
CN111507226A (zh) * 2020-04-10 2020-08-07 北京觉非科技有限公司 道路图像识别模型建模方法、图像识别方法及电子设备
CN111524187A (zh) * 2020-04-22 2020-08-11 北京三快在线科技有限公司 一种视觉定位模型的训练方法及装置
CN111597857A (zh) * 2019-02-20 2020-08-28 中科院微电子研究所昆山分所 一种物流包裹检测方法、装置、设备及可读存储介质
CN111598033A (zh) * 2020-05-21 2020-08-28 北京阿丘机器人科技有限公司 货物的定位方法、装置、系统及计算机可读存储介质
CN111639721A (zh) * 2020-06-12 2020-09-08 江苏斯诺物联科技有限公司 基于物流运输应用的智能感知机器人
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN111671431A (zh) * 2019-03-11 2020-09-18 本田技研工业株式会社 惯性传感器的安装姿势推测方法
CN111680685A (zh) * 2020-04-14 2020-09-18 上海高仙自动化科技发展有限公司 一种基于图像的定位方法、装置、电子设备及存储介质
CN111694423A (zh) * 2019-03-12 2020-09-22 阿里巴巴集团控股有限公司 定位、抓取、数据处理与用于增强现实的显示方法及设备
WO2020186444A1 (zh) * 2019-03-19 2020-09-24 深圳市大疆创新科技有限公司 物体检测方法、电子设备与计算机存储介质
CN111709988A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111768449A (zh) * 2019-03-30 2020-10-13 北京伟景智能科技有限公司 一种双目视觉结合深度学习的物体抓取方法
CN111797856A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 建模方法、装置、存储介质及电子设备
CN111815708A (zh) * 2020-07-17 2020-10-23 中国科学院自动化研究所 基于双通路卷积神经网络的服务机器人抓取检测方法
CN111881934A (zh) * 2020-06-18 2020-11-03 江苏大学 电子元器件属性与类别的空间关系发现方法
CN111932617A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
WO2020228217A1 (zh) * 2019-05-13 2020-11-19 河北工业大学 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置
CN111973228A (zh) * 2020-06-17 2020-11-24 谈斯聪 B超数据采集分析诊断一体化机器人，平台
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN112070835A (zh) * 2020-08-21 2020-12-11 达闼机器人有限公司 机械臂位姿预测方法、装置、存储介质及电子设备
CN112164115A (zh) * 2020-09-25 2021-01-01 清华大学深圳国际研究生院 物体位姿识别的方法、装置及计算机存储介质
CN112396037A (zh) * 2020-12-11 2021-02-23 杭州博镨科技有限公司 一种基于深度学习的室内装饰识别与定位方法
CN112422653A (zh) * 2020-11-06 2021-02-26 山东产研信息与人工智能融合研究院有限公司 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN112541936A (zh) * 2020-12-09 2021-03-23 中国科学院自动化研究所 执行机构操作空间视觉信息确定方法及系统
CN112571425A (zh) * 2020-11-30 2021-03-30 汕头大学 一种带压堵漏机器人的漏点定位自主控制方法及系统
WO2021056134A1 (en) * 2019-09-23 2021-04-01 Intel Corporation Scene retrieval for computer vision
CN112605983A (zh) * 2020-12-01 2021-04-06 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法
CN112802093A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN113011486A (zh) * 2021-03-12 2021-06-22 重庆理工大学 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法
CN113094016A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 用于信息增益与显示的系统、方法及介质
CN113191174A (zh) * 2020-01-14 2021-07-30 北京京东乾石科技有限公司 物品定位方法和装置、机器人及计算机可读存储介质
CN113203408A (zh) * 2021-05-21 2021-08-03 山东新一代信息产业技术研究院有限公司 一种基于地板传感器预测机器人位置的方法
CN113362441A (zh) * 2020-03-06 2021-09-07 顺丰科技有限公司 三维重建方法、装置、计算机设备和存储介质
CN113420746A (zh) * 2021-08-25 2021-09-21 中国科学院自动化研究所 机器人视觉分拣方法、装置、电子设备和存储介质
CN113420839A (zh) * 2021-08-23 2021-09-21 齐鲁工业大学 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN113499166A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种角膜移植手术机器人用自主立体视觉导航方法及系统
CN113524194A (zh) * 2021-04-28 2021-10-22 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN113592890A (zh) * 2021-05-28 2021-11-02 北京医准智能科技有限公司 一种ct图像肝脏分割方法及装置
CN113674233A (zh) * 2021-08-13 2021-11-19 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN113674341A (zh) * 2021-08-20 2021-11-19 深圳技术大学 一种机器人视觉识别及定位方法、智能终端及存储介质
CN113674349A (zh) * 2021-06-30 2021-11-19 南京工业大学 一种基于深度图像二次分割的钢结构识别和定位方法
CN113696178A (zh) * 2021-07-29 2021-11-26 大箴(杭州)科技有限公司 一种机器人智能抓取的控制方法及系统、介质、设备
CN113808197A (zh) * 2021-09-17 2021-12-17 山西大学 一种基于机器学习的工件自动抓取系统及方法
CN113920142A (zh) * 2021-11-11 2022-01-11 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
CN113935368A (zh) * 2021-10-13 2022-01-14 福州大学 针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法
CN114018268A (zh) * 2021-11-05 2022-02-08 上海景吾智能科技有限公司 室内移动机器人导航方法
CN114170521A (zh) * 2022-02-11 2022-03-11 杭州蓝芯科技有限公司 一种叉车托盘对接识别定位方法
CN114884842A (zh) * 2022-04-13 2022-08-09 哈工大机器人（合肥）国际创新研究院 一种动态配置任务的视觉安防检测系统及方法
CN114897999A (zh) * 2022-04-29 2022-08-12 美的集团(上海)有限公司 物体位姿识别方法、电子设备、存储介质和程序产品
CN114952809A (zh) * 2022-06-24 2022-08-30 中国科学院宁波材料技术与工程研究所 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
WO2022183321A1 (zh) * 2021-03-01 2022-09-09 华为技术有限公司 图像检测方法、装置和电子设备
CN115196338A (zh) * 2022-09-16 2022-10-18 沈阳和研科技有限公司 一种矫正机构及三点矫正方法
CN115496898A (zh) * 2022-11-16 2022-12-20 山东科技大学 移动机器人目标定位方法及系统
WO2023273272A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
WO2023273271A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
WO2023056670A1 (zh) * 2021-10-09 2023-04-13 东南大学 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN116061187A (zh) * 2023-03-07 2023-05-05 睿尔曼智能科技(江苏)有限公司 一种复合机器人对货架商品识别、定位和抓取方法
CN116188883A (zh) * 2023-04-28 2023-05-30 中国科学技术大学 一种抓握位置分析方法及终端
CN116852348A (zh) * 2023-06-01 2023-10-10 中国航空油料集团有限公司 井盖定位方法、装置和系统
CN116968022A (zh) * 2023-07-14 2023-10-31 武汉纺织大学 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN117197246A (zh) * 2023-11-07 2023-12-08 江苏云幕智造科技有限公司 一种基于三维点云与双目视觉的人形机器人位置确认方法
CN117576489A (zh) * 2024-01-17 2024-02-20 华侨大学 智能机器人鲁棒实时目标感知方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171247B1 (en) * 2011-06-27 2015-10-27 Hrl Laboratories, Llc System and method for fast template matching in 3D
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN106485274A (zh) * 2016-10-09 2017-03-08 湖南穗富眼电子科技有限公司 一种基于目标特性图的物体分类方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171247B1 (en) * 2011-06-27 2015-10-27 Hrl Laboratories, Llc System and method for fast template matching in 3D
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN106485274A (zh) * 2016-10-09 2017-03-08 湖南穗富眼电子科技有限公司 一种基于目标特性图的物体分类方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
W. LIU 等: "Deep learning for picking point detection in dense cluster", 《 2017 11TH ASIAN CONTROL CONFERENCE (ASCC)》 *
伍锡如 等: "基于深度学习的工业分拣机器人快速视觉识别与定位算法", 《机器人》 *

Cited By (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN108932735A (zh) * 2018-07-10 2018-12-04 广州众聚智能科技有限公司 一种生成深度学习样本的方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109034065A (zh) * 2018-07-27 2018-12-18 西安理工大学 一种基于点云的室内场景物体提取方法
CN109034065B (zh) * 2018-07-27 2022-08-16 西安理工大学 一种基于点云的室内场景物体提取方法
CN109101967A (zh) * 2018-08-02 2018-12-28 苏州中德睿博智能科技有限公司 基于视觉的目标对象识别与定位方法、终端以及存储介质
CN109241856A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 一种单目车载视觉系统立体目标检测方法
CN110826377A (zh) * 2018-08-13 2020-02-21 珠海格力电器股份有限公司 物料分拣方法以及装置
CN109159113A (zh) * 2018-08-14 2019-01-08 西安交通大学 一种基于视觉推理的机器人作业方法
CN109086736A (zh) * 2018-08-17 2018-12-25 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN110378942A (zh) * 2018-08-23 2019-10-25 北京京东尚科信息技术有限公司 基于双目相机的障碍物标识方法、系统、设备和存储介质
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN109934230A (zh) * 2018-09-05 2019-06-25 浙江大学 一种基于视觉辅助的雷达点云分割方法
CN109291657A (zh) * 2018-09-11 2019-02-01 东华大学 基于卷积神经网络航天结构件工业物联标识激光打码系统
CN109291657B (zh) * 2018-09-11 2020-10-30 东华大学 基于卷积神经网络航天结构件工业物联标识激光打码系统
CN109493369A (zh) * 2018-09-11 2019-03-19 深圳控石智能系统有限公司 一种智能机器人视觉动态定位跟踪方法及系统
CN109493369B (zh) * 2018-09-11 2020-12-29 深圳控石智能系统有限公司 一种智能机器人视觉动态定位跟踪方法及系统
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN109341689A (zh) * 2018-09-12 2019-02-15 北京工业大学 基于深度学习的移动机器人视觉导航方法
CN109344882B (zh) * 2018-09-12 2021-05-25 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109214484B (zh) * 2018-09-20 2021-07-13 深圳蓝胖子机器智能有限公司 无人便利店控制方法、装置和计算机可读存储介质
CN109214484A (zh) * 2018-09-20 2019-01-15 深圳蓝胖子机器人有限公司 无人便利店控制方法、装置和计算机可读存储介质
CN109215080A (zh) * 2018-09-25 2019-01-15 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
WO2020061725A1 (en) * 2018-09-25 2020-04-02 Shenzhen Dorabot Robotics Co., Ltd. Method and system of detecting and tracking objects in a workspace
US11200696B2 (en) 2018-09-25 2021-12-14 Tsinghua University Method and apparatus for training 6D pose estimation network based on deep learning iterative matching
CN109352646B (zh) * 2018-09-30 2023-01-06 泰安康平纳机械有限公司 纱线自动装卸方法及系统
CN109352646A (zh) * 2018-09-30 2019-02-19 泰安康平纳机械有限公司 纱线自动装卸方法及系统
CN109341691A (zh) * 2018-09-30 2019-02-15 百色学院 基于图标识别的智能室内定位系统及其定位方法
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
CN110969664B (zh) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 一种相机外部参数的动态标定方法
CN109410275A (zh) * 2018-10-15 2019-03-01 深圳步智造科技有限公司 位置预测方法、装置、设备以及可读存储介质
CN109410275B (zh) * 2018-10-15 2021-07-06 深圳一步智造科技有限公司 位置预测方法、装置、设备以及可读存储介质
CN109448034B (zh) * 2018-10-24 2021-10-01 华侨大学 一种基于几何基元的零件位姿获取方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN111105181A (zh) * 2018-10-25 2020-05-05 格雷奥朗佩特有限公司 用于订单履行的识别和计划系统及方法
CN109063827B (zh) * 2018-10-25 2022-03-04 电子科技大学 有限空间内自动拿取特定行李的方法、系统、存储介质和终端
CN109063827A (zh) * 2018-10-25 2018-12-21 电子科技大学 有限空间内自动拿取特定行李的方法、系统、存储介质和终端
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109461184B (zh) * 2018-10-31 2020-11-10 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109459984A (zh) * 2018-11-02 2019-03-12 宁夏巨能机器人股份有限公司 一种基于三维点云的定位抓取系统及其使用方法
CN109448057B (zh) * 2018-11-02 2022-02-25 宁夏巨能机器人股份有限公司 一种基于三维点云的安全定位方法
CN109448057A (zh) * 2018-11-02 2019-03-08 宁夏巨能机器人股份有限公司 一种基于三维点云的安全定位方法
CN109358628A (zh) * 2018-11-06 2019-02-19 江苏木盟智能科技有限公司 一种货箱对位方法及机器人
CN109584298A (zh) * 2018-11-07 2019-04-05 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法
CN109448058A (zh) * 2018-11-12 2019-03-08 北京拓疆者智能科技有限公司 装载位置三维坐标获取方法、系统及图像识别设备
WO2020098674A1 (en) * 2018-11-14 2020-05-22 Huawei Technologies Co., Ltd. Method and system for deep neural networks using dynamically selected feature-relevant points from point cloud
US11676005B2 (en) 2018-11-14 2023-06-13 Huawei Technologies Co., Ltd. Method and system for deep neural networks using dynamically selected feature-relevant points from a point cloud
CN109697730A (zh) * 2018-11-26 2019-04-30 深圳市德富莱智能科技股份有限公司 基于光学识别的ic芯片处理方法、系统及存储介质
CN109697730B (zh) * 2018-11-26 2021-02-09 深圳市德富莱智能科技股份有限公司 基于光学识别的ic芯片处理方法、系统及存储介质
CN109658388B (zh) * 2018-11-29 2021-03-30 湖南视比特机器人有限公司 基于视觉和主动交互的包装箱分割错误的检测与矫正方法
CN109522969A (zh) * 2018-11-29 2019-03-26 南京云思创智信息科技有限公司 基于深度学习的特定物品发现方法
CN109658388A (zh) * 2018-11-29 2019-04-19 湖南视比特机器人有限公司 基于视觉和主动交互的包装箱分割错误的检测与矫正方法
CN111275063A (zh) * 2018-12-04 2020-06-12 广州中国科学院先进技术研究所 一种基于3d视觉的机器人智能抓取控制方法及系统
CN109636814A (zh) * 2018-12-18 2019-04-16 联想(北京)有限公司 一种图像处理方法及电子设备
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109685141B (zh) * 2018-12-25 2022-10-04 合肥哈工慧拣智能科技有限公司 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109702741A (zh) * 2018-12-26 2019-05-03 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN109702741B (zh) * 2018-12-26 2020-12-18 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN109800874A (zh) * 2018-12-29 2019-05-24 复旦大学 一种机器视觉神经网络的训练方法、设备及存储介质
CN109859208A (zh) * 2019-01-03 2019-06-07 北京化工大学 基于凹凸性和rsd特征的场景分割与目标建模方法
CN109708658A (zh) * 2019-01-14 2019-05-03 浙江大学 一种基于卷积神经网络的视觉里程计方法
CN109801337B (zh) * 2019-01-21 2020-10-02 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN109784333A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及系统
CN109940606A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 基于点云数据的机器人引导系统及方法
CN109531584A (zh) * 2019-01-31 2019-03-29 北京无线电测量研究所 一种基于深度学习的机械臂控制方法和装置
CN109781003A (zh) * 2019-02-11 2019-05-21 华侨大学 一种结构光视觉系统的下一最佳测量位姿确定方法
CN111597857A (zh) * 2019-02-20 2020-08-28 中科院微电子研究所昆山分所 一种物流包裹检测方法、装置、设备及可读存储介质
CN111597857B (zh) * 2019-02-20 2023-09-26 中科微至科技股份有限公司 一种物流包裹检测方法、装置、设备及可读存储介质
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN111671431A (zh) * 2019-03-11 2020-09-18 本田技研工业株式会社 惯性传感器的安装姿势推测方法
CN111694423A (zh) * 2019-03-12 2020-09-22 阿里巴巴集团控股有限公司 定位、抓取、数据处理与用于增强现实的显示方法及设备
CN111694423B (zh) * 2019-03-12 2023-05-26 阿里巴巴集团控股有限公司 定位、抓取、数据处理与用于增强现实的显示方法及设备
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN109977813B (zh) * 2019-03-13 2022-09-13 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN109859256B (zh) * 2019-03-13 2023-03-31 大连理工大学 一种基于自动对应点匹配的三维点云配准方法
CN109859256A (zh) * 2019-03-13 2019-06-07 大连理工大学 一种基于自动对应点匹配的三维点云配准方法
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
WO2020186444A1 (zh) * 2019-03-19 2020-09-24 深圳市大疆创新科技有限公司 物体检测方法、电子设备与计算机存储介质
CN109986560B (zh) * 2019-03-19 2023-02-14 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN110014426A (zh) * 2019-03-21 2019-07-16 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110009682A (zh) * 2019-03-29 2019-07-12 北京理工大学 一种基于单目视觉的目标识别定位方法
CN111768449A (zh) * 2019-03-30 2020-10-13 北京伟景智能科技有限公司 一种双目视觉结合深度学习的物体抓取方法
CN110059676A (zh) * 2019-04-03 2019-07-26 北京航空航天大学 一种基于深度学习与多目标分布排序的航空插头孔位识别方法
CN111797856A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 建模方法、装置、存储介质及电子设备
CN111797856B (zh) * 2019-04-09 2023-12-12 Oppo广东移动通信有限公司 建模方法、装置、存储介质及电子设备
CN110000785A (zh) * 2019-04-11 2019-07-12 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN110063157B (zh) * 2019-04-30 2020-11-20 浙江大学 一种矮化密植枣树修剪、环割机器人
CN110063157A (zh) * 2019-04-30 2019-07-30 浙江大学 一种矮化密植枣树修剪、环割机器人
WO2020228217A1 (zh) * 2019-05-13 2020-11-19 河北工业大学 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置
CN110223351A (zh) * 2019-05-30 2019-09-10 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110223351B (zh) * 2019-05-30 2021-02-19 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110378325B (zh) * 2019-06-20 2022-03-15 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN110378325A (zh) * 2019-06-20 2019-10-25 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
CN110428464A (zh) * 2019-06-24 2019-11-08 浙江大学 基于深度学习的多类别乱序工件机器人抓取位姿估计方法
CN110428464B (zh) * 2019-06-24 2022-01-04 浙江大学 基于深度学习的多类别乱序工件机器人抓取位姿估计方法
CN110298292A (zh) * 2019-06-25 2019-10-01 东北大学 基于规则多边形物体角点检测的高精度实时抓取检测方法
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
CN110363127A (zh) * 2019-07-04 2019-10-22 陕西丝路机器人智能制造研究院有限公司 机器人对工件关键点识别与定位的方法
CN110271006A (zh) * 2019-07-19 2019-09-24 北京农业智能装备技术研究中心 机械臂视觉引导方法及装置
CN110363252A (zh) * 2019-07-24 2019-10-22 山东大学 趋向于端到端的场景文字检测与识别方法以及系统
CN110400345B (zh) * 2019-07-24 2021-06-15 西南科技大学 基于深度强化学习的放射性废物推抓协同分拣方法
CN110400345A (zh) * 2019-07-24 2019-11-01 西南科技大学 基于深度强化学习的放射性废物推抓协同分拣方法
CN110544233A (zh) * 2019-07-30 2019-12-06 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法
CN110781717A (zh) * 2019-08-09 2020-02-11 浙江零跑科技有限公司 一种驾驶室场景语义与视深联合分析方法
CN110509273B (zh) * 2019-08-16 2022-05-06 天津职业技术师范大学(中国职业培训指导教师进修中心) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN110509273A (zh) * 2019-08-16 2019-11-29 天津职业技术师范大学(中国职业培训指导教师进修中心) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN110660101B (zh) * 2019-08-19 2022-06-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN110660101A (zh) * 2019-08-19 2020-01-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN110455189A (zh) * 2019-08-26 2019-11-15 广东博智林机器人有限公司 一种大尺寸物料的视觉定位方法和搬运机器人
CN110765852B (zh) * 2019-09-09 2022-06-14 珠海格力电器股份有限公司 一种获取图像中人脸方向的方法及装置
CN110765852A (zh) * 2019-09-09 2020-02-07 珠海格力电器股份有限公司 一种获取图像中人脸方向的方法及装置
WO2021056134A1 (en) * 2019-09-23 2021-04-01 Intel Corporation Scene retrieval for computer vision
CN110653820A (zh) * 2019-09-29 2020-01-07 东北大学 一种结合几何约束的机器人抓取位姿估计方法
CN110653820B (zh) * 2019-09-29 2022-11-01 东北大学 一种结合几何约束的机器人抓取位姿估计方法
CN110956086A (zh) * 2019-10-24 2020-04-03 国家电网有限公司 一种基于图像识别技术的机房设备在线识别方法
CN110826448A (zh) * 2019-10-29 2020-02-21 中山大学 一种自主更新的室内定位方法
CN110826448B (zh) * 2019-10-29 2023-04-07 中山大学 一种自主更新的室内定位方法
CN110992422B (zh) * 2019-11-04 2023-11-07 浙江工业大学 一种基于3d视觉的药盒姿态估计方法
CN110992422A (zh) * 2019-11-04 2020-04-10 浙江工业大学 一种基于3d视觉的药盒姿态估计方法
CN111144401A (zh) * 2019-11-06 2020-05-12 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN111144401B (zh) * 2019-11-06 2024-01-26 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111062387A (zh) * 2019-12-09 2020-04-24 熵智科技(深圳)有限公司 一种传送带上物品的识别方法、抓取方法及相关设备
CN111062387B (zh) * 2019-12-09 2023-11-07 熵智科技(深圳)有限公司 一种传送带上物品的识别方法、抓取方法及相关设备
CN111046796A (zh) * 2019-12-12 2020-04-21 哈尔滨拓博科技有限公司 一种基于双摄像头深度信息的低成本空间手势控制方法及系统
CN110961756A (zh) * 2019-12-23 2020-04-07 深圳市迈威测控技术有限公司 用于焊锡机的焊咀旋转偏差或更换误差校正方法及装置
CN111037558A (zh) * 2019-12-23 2020-04-21 北京航天计量测试技术研究所 一种自动识别抓取方法及系统
CN111046843B (zh) * 2019-12-27 2023-06-20 华南理工大学 一种智能驾驶环境下的单目测距方法
CN111046843A (zh) * 2019-12-27 2020-04-21 华南理工大学 一种智能驾驶环境下的单目测距方法
CN111191582A (zh) * 2019-12-27 2020-05-22 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111251294A (zh) * 2020-01-14 2020-06-09 北京航空航天大学 一种基于视觉位姿感知和深度强化学习的机器人抓取方法
CN111203878A (zh) * 2020-01-14 2020-05-29 北京航空航天大学 一种基于视觉模仿的机器人序列任务学习方法
CN113191174B (zh) * 2020-01-14 2024-04-09 北京京东乾石科技有限公司 物品定位方法和装置、机器人及计算机可读存储介质
CN113191174A (zh) * 2020-01-14 2021-07-30 北京京东乾石科技有限公司 物品定位方法和装置、机器人及计算机可读存储介质
CN111259843A (zh) * 2020-01-21 2020-06-09 敬科(深圳)机器人科技有限公司 基于视觉稳定特征分类配准的多媒体导航仪测试方法
CN111310637B (zh) * 2020-02-11 2022-11-11 山西大学 一种基于尺度不变网络的机器人目标抓取检测方法
CN111310637A (zh) * 2020-02-11 2020-06-19 山西大学 一种基于尺度不变网络的机器人目标抓取检测方法
CN111397581A (zh) * 2020-02-27 2020-07-10 清华大学 基于红外led点阵的视觉定位靶标及靶标测量场
CN113362441A (zh) * 2020-03-06 2021-09-07 顺丰科技有限公司 三维重建方法、装置、计算机设备和存储介质
CN111461003A (zh) * 2020-03-31 2020-07-28 湖南大学 基于视频图像序列特征提取的燃煤工况识别方法
CN111507226B (zh) * 2020-04-10 2023-08-11 北京觉非科技有限公司 道路图像识别模型建模方法、图像识别方法及电子设备
CN111507226A (zh) * 2020-04-10 2020-08-07 北京觉非科技有限公司 道路图像识别模型建模方法、图像识别方法及电子设备
CN111680685B (zh) * 2020-04-14 2023-06-06 上海高仙自动化科技发展有限公司 一种基于图像的定位方法、装置、电子设备及存储介质
CN111680685A (zh) * 2020-04-14 2020-09-18 上海高仙自动化科技发展有限公司 一种基于图像的定位方法、装置、电子设备及存储介质
CN111524187A (zh) * 2020-04-22 2020-08-11 北京三快在线科技有限公司 一种视觉定位模型的训练方法及装置
CN111524187B (zh) * 2020-04-22 2023-06-02 北京三快在线科技有限公司 一种视觉定位模型的训练方法及装置
CN111709988A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN111652928B (zh) * 2020-05-11 2023-12-15 上海交通大学 三维点云中物体抓取位姿检测方法
CN111598033B (zh) * 2020-05-21 2023-05-30 北京阿丘机器人科技有限公司 货物的定位方法、装置、系统及计算机可读存储介质
CN111598033A (zh) * 2020-05-21 2020-08-28 北京阿丘机器人科技有限公司 货物的定位方法、装置、系统及计算机可读存储介质
CN111639721A (zh) * 2020-06-12 2020-09-08 江苏斯诺物联科技有限公司 基于物流运输应用的智能感知机器人
CN111973228A (zh) * 2020-06-17 2020-11-24 谈斯聪 B超数据采集分析诊断一体化机器人，平台
CN111881934A (zh) * 2020-06-18 2020-11-03 江苏大学 电子元器件属性与类别的空间关系发现方法
CN111932617A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111932617B (zh) * 2020-07-15 2023-12-22 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111815708A (zh) * 2020-07-17 2020-10-23 中国科学院自动化研究所 基于双通路卷积神经网络的服务机器人抓取检测方法
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN112070835A (zh) * 2020-08-21 2020-12-11 达闼机器人有限公司 机械臂位姿预测方法、装置、存储介质及电子设备
CN112164115A (zh) * 2020-09-25 2021-01-01 清华大学深圳国际研究生院 物体位姿识别的方法、装置及计算机存储介质
CN112164115B (zh) * 2020-09-25 2024-04-02 清华大学深圳国际研究生院 物体位姿识别的方法、装置及计算机存储介质
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN112422653A (zh) * 2020-11-06 2021-02-26 山东产研信息与人工智能融合研究院有限公司 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN112571425B (zh) * 2020-11-30 2022-04-01 汕头大学 一种带压堵漏机器人的漏点定位自主控制方法及系统
CN112571425A (zh) * 2020-11-30 2021-03-30 汕头大学 一种带压堵漏机器人的漏点定位自主控制方法及系统
CN112605983A (zh) * 2020-12-01 2021-04-06 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN112605983B (zh) * 2020-12-01 2022-04-19 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN112541936B (zh) * 2020-12-09 2022-11-08 中国科学院自动化研究所 执行机构操作空间视觉信息确定方法及系统
CN112541936A (zh) * 2020-12-09 2021-03-23 中国科学院自动化研究所 执行机构操作空间视觉信息确定方法及系统
CN112396037A (zh) * 2020-12-11 2021-02-23 杭州博镨科技有限公司 一种基于深度学习的室内装饰识别与定位方法
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法
CN112784717B (zh) * 2021-01-13 2022-05-13 中北大学 一种基于深度学习的管件自动分拣方法
CN112802093B (zh) * 2021-02-05 2023-09-12 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN112802093A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
WO2022183321A1 (zh) * 2021-03-01 2022-09-09 华为技术有限公司 图像检测方法、装置和电子设备
CN113011486A (zh) * 2021-03-12 2021-06-22 重庆理工大学 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法
CN113524194A (zh) * 2021-04-28 2021-10-22 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN113203408A (zh) * 2021-05-21 2021-08-03 山东新一代信息产业技术研究院有限公司 一种基于地板传感器预测机器人位置的方法
CN113592890B (zh) * 2021-05-28 2022-02-11 北京医准智能科技有限公司 一种ct图像肝脏分割方法及装置
CN113592890A (zh) * 2021-05-28 2021-11-02 北京医准智能科技有限公司 一种ct图像肝脏分割方法及装置
CN113094016A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 用于信息增益与显示的系统、方法及介质
CN113094016B (zh) * 2021-06-09 2021-09-07 上海影创信息科技有限公司 用于信息增益与显示的系统、方法及介质
CN113499166A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种角膜移植手术机器人用自主立体视觉导航方法及系统
WO2023273272A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
WO2023273271A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
CN113674349B (zh) * 2021-06-30 2023-08-04 南京工业大学 一种基于深度图像二次分割的钢结构识别和定位方法
CN113674349A (zh) * 2021-06-30 2021-11-19 南京工业大学 一种基于深度图像二次分割的钢结构识别和定位方法
CN113696178A (zh) * 2021-07-29 2021-11-26 大箴(杭州)科技有限公司 一种机器人智能抓取的控制方法及系统、介质、设备
CN113674233A (zh) * 2021-08-13 2021-11-19 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN113674341A (zh) * 2021-08-20 2021-11-19 深圳技术大学 一种机器人视觉识别及定位方法、智能终端及存储介质
CN113420839A (zh) * 2021-08-23 2021-09-21 齐鲁工业大学 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN113420839B (zh) * 2021-08-23 2021-11-02 齐鲁工业大学 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN113420746A (zh) * 2021-08-25 2021-09-21 中国科学院自动化研究所 机器人视觉分拣方法、装置、电子设备和存储介质
CN113420746B (zh) * 2021-08-25 2021-12-07 中国科学院自动化研究所 机器人视觉分拣方法、装置、电子设备和存储介质
CN113808197A (zh) * 2021-09-17 2021-12-17 山西大学 一种基于机器学习的工件自动抓取系统及方法
WO2023056670A1 (zh) * 2021-10-09 2023-04-13 东南大学 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN113935368A (zh) * 2021-10-13 2022-01-14 福州大学 针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法
CN114018268A (zh) * 2021-11-05 2022-02-08 上海景吾智能科技有限公司 室内移动机器人导航方法
CN113920142B (zh) * 2021-11-11 2023-09-26 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
CN113920142A (zh) * 2021-11-11 2022-01-11 江苏昱博自动化设备有限公司 一种基于深度学习的分拣机械手多物体分拣方法
CN114170521A (zh) * 2022-02-11 2022-03-11 杭州蓝芯科技有限公司 一种叉车托盘对接识别定位方法
CN114884842A (zh) * 2022-04-13 2022-08-09 哈工大机器人（合肥）国际创新研究院 一种动态配置任务的视觉安防检测系统及方法
CN114884842B (zh) * 2022-04-13 2023-09-05 哈工大机器人（合肥）国际创新研究院 一种动态配置任务的视觉安防检测系统及方法
CN114897999B (zh) * 2022-04-29 2023-12-08 美的集团(上海)有限公司 物体位姿识别方法、电子设备、存储介质和程序产品
CN114897999A (zh) * 2022-04-29 2022-08-12 美的集团(上海)有限公司 物体位姿识别方法、电子设备、存储介质和程序产品
CN114952809A (zh) * 2022-06-24 2022-08-30 中国科学院宁波材料技术与工程研究所 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN115196338A (zh) * 2022-09-16 2022-10-18 沈阳和研科技有限公司 一种矫正机构及三点矫正方法
CN115496898A (zh) * 2022-11-16 2022-12-20 山东科技大学 移动机器人目标定位方法及系统
CN115496898B (zh) * 2022-11-16 2023-02-17 山东科技大学 移动机器人目标定位方法及系统
CN116061187A (zh) * 2023-03-07 2023-05-05 睿尔曼智能科技(江苏)有限公司 一种复合机器人对货架商品识别、定位和抓取方法
CN116061187B (zh) * 2023-03-07 2023-06-16 睿尔曼智能科技(江苏)有限公司 一种复合机器人对货架商品识别、定位和抓取方法
CN116188883A (zh) * 2023-04-28 2023-05-30 中国科学技术大学 一种抓握位置分析方法及终端
CN116188883B (zh) * 2023-04-28 2023-08-29 中国科学技术大学 一种抓握位置分析方法及终端
CN116852348B (zh) * 2023-06-01 2023-12-15 中国航空油料集团有限公司 井盖定位方法、装置和系统
CN116852348A (zh) * 2023-06-01 2023-10-10 中国航空油料集团有限公司 井盖定位方法、装置和系统
CN116968022A (zh) * 2023-07-14 2023-10-31 武汉纺织大学 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN117197246A (zh) * 2023-11-07 2023-12-08 江苏云幕智造科技有限公司 一种基于三维点云与双目视觉的人形机器人位置确认方法
CN117197246B (zh) * 2023-11-07 2024-01-26 江苏云幕智造科技有限公司 一种基于三维点云与双目视觉的人形机器人位置确认方法
CN117576489A (zh) * 2024-01-17 2024-02-20 华侨大学 智能机器人鲁棒实时目标感知方法、装置、设备及介质
CN117576489B (zh) * 2024-01-17 2024-04-09 华侨大学 智能机器人鲁棒实时目标感知方法、装置、设备及介质

Also Published As

Publication number Publication date
CN108171748B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN108171748A (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN105818167B (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
US20150371391A1 (en) 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
Kragic et al. Robust visual servoing
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN106023211B (zh) 基于深度学习的机器人图像定位方法及系统
CN111368852A (zh) 基于深度学习的物品识别预分拣系统、方法及机器人
CN106355147A (zh) 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN110480637A (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN107808123A (zh) 图像可行域检测方法、电子设备、存储介质、检测系统
Droeschel et al. 3D body pose estimation using an adaptive person model for articulated ICP
CN107516127A (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
CN109740454A (zh) 一种基于yolo-v3的人体体态识别方法
CN114973422A (zh) 一种基于三维人体建模点云特征编码的步态识别方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN108680177B (zh) 基于啮齿类动物模型的同步定位与地图构建方法及装置
CN110281231A (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
Saxena et al. Garment recognition and grasping point detection for clothing assistance task using deep learning
CN110009689A (zh) 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN114494594B (zh) 基于深度学习的航天员操作设备状态识别方法
Caporali et al. Pointcloud-based identification of optimal grasping poses for cloth-like deformable objects
Park et al. 3D log recognition and pose estimation for robotic forestry machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220725

Address after: 230000 room 306, building 3, Zone C, intelligent equipment science park, No. 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province

Patentee after: Hefei Hagong HUICAI Intelligent Technology Co.,Ltd.

Address before: 230601 Building 5, Qidi science and Technology City, Qinghua Road, economic development zone, Hefei City, Anhui Province

Patentee before: HRG INTERNATIONAL INSTITUTE FOR RESEARCH & INNOVATION