CN112883984B - 一种基于特征匹配的机械臂抓取系统与方法 - Google Patents

一种基于特征匹配的机械臂抓取系统与方法 Download PDF

Info

Publication number
CN112883984B
CN112883984B CN202110217910.5A CN202110217910A CN112883984B CN 112883984 B CN112883984 B CN 112883984B CN 202110217910 A CN202110217910 A CN 202110217910A CN 112883984 B CN112883984 B CN 112883984B
Authority
CN
China
Prior art keywords
feature
mechanical arm
pose
matching
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110217910.5A
Other languages
English (en)
Other versions
CN112883984A (zh
Inventor
宋锐
张明
王艳红
李凤鸣
刘义祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110217910.5A priority Critical patent/CN112883984B/zh
Publication of CN112883984A publication Critical patent/CN112883984A/zh
Application granted granted Critical
Publication of CN112883984B publication Critical patent/CN112883984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征匹配的机械臂抓取系统与方法，其技术方案为：包括图像获取模块、特征匹配模块、位姿生成模块、立体位姿获取模块、抓取模块，图像获取模块用于获取目标物体色彩图片和景深图像；特征匹配模块用于接收色彩图片并进行处理，输出特征匹配结果；位姿生成模块用于接收特征匹配结果，并输出平面位姿；立体位姿获取模块用于将平面位姿与景深图像融合，生成目标立体位姿；抓取模块用于根据目标立体位姿抓取目标物体。本发明解决了传统特征点检测中特征点分配不均的问题，提高了匹配的精度；使用二值特征描述子和汉明距离匹配，减少了运算量；使用基于快速扩展随机树的路径规划算法，解决高维空间和复杂约束的路径规划问题。

Description

一种基于特征匹配的机械臂抓取系统与方法
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于特征匹配的机械臂抓取系统与方法。
背景技术
使用机械臂对目标物体进行抓取有着重要的意义。比如使用机器人完成生产线上的零件抓取，物流分拣线上的包裹分拣，档案馆的档案抓取等工作环境，可以快速高效地完成任务，相比较于人工作业既减少了成本又提高了效率。
发明人发现，目前的机器人抓取操作大多数是使用示教的方式进行控制，功能单一、智能化不足，无法根据环境的变化改变运行的策略。现在也出现了一些基于视觉的机器人控制技术，但是仍然存在着对于目标物体的识别精度不够、计算量大等问题。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种基于特征匹配的机械臂抓取系统与方法，解决了传统特征点检测中特征点分配不均的问题，同时增加目标区域的特征点数量，提高了匹配的精度；使用二值特征描述子和汉明距离匹配，减少了运算量，提高了匹配速度；使用基于快速扩展随机树的路径规划算法有效地解决高维空间和复杂约束的路径规划问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：
第一方面，本发明的实施例提供了一种基于特征匹配的机械臂抓取系统，包括：
图像获取模块，用于获取目标物体色彩图片和景深图像；
特征匹配模块，用于接收色彩图片并进行处理，输出特征匹配结果；
位姿生成模块，用于接收特征匹配结果，并输出平面位姿；
立体位姿获取模块，用于将平面位姿与景深图像融合，生成目标立体位姿；
抓取模块，用于根据目标立体位姿抓取目标物体。
作为进一步的实现方式，所述图像获取模块采用深度摄像机。
作为进一步的实现方式，所述抓取模块包括抓取机构、机械臂驱动模块、机械臂控制模块，所述机械臂控制模块通过机械臂驱动模块连接抓取机构，机械臂控制模块连接立体位姿获取模块。
作为进一步的实现方式，所述机械臂控制模块连接电源模块。
第二方面，本发明实施例还提供了一种基于特征匹配的机械臂抓取方法，包括：
获取图像信息，采用基于色彩空间的方式进行预处理，获取目标物体可能出现的区域；
根据预处理的结果进行基于图像区域划分的特征点检测；
对检测出的特征点进行计算得到特征描述子，并将场景图像的特征描述子与数据集中的特征描述子进行汉明距离匹配，获取目标物体在像素平面的位姿；
使用姿态变换矩阵进行坐标转换，得到目标物体在世界坐标系下的位姿；
进行运动规划，控制机械臂进行目标物体的抓取。
作为进一步的实现方式，根据目标与背景的色彩差异设置R、G、B阈值，在x轴与y轴方向上对图片的像素值进行投影计算，求其三通道上的像素值加权平均；得到投影结果后，根据设置的阈值进行比较得到目标区域。
作为进一步的实现方式，基于区域划分的特征点检测过程为：
在构造高斯金字塔尺度空间时，将图像均匀分割成I×J个大小相同的区域，其中I为分割的行数，J为分割的列数；对每个区域分别进行surf特征点检测，将检测到的特征点数量与每个区域的阈值进行比较。
作为进一步的实现方式，构建特征描述子进行特征匹配的过程为：
首先对图像进行高斯滤波，然后以特征点为中心的邻域选取N对像素点进行计算，比较灰度值的大小，进行二进制赋值；再使用灰度质心法计算特征点的主方向，根据特征点方向设置特征点描述子方向，使特征点描述子具有旋转不变性；接着使用汉明距离进行图像与数据集中特征点描述子的特征匹配。
作为进一步的实现方式，特征点在匹配时会存在误匹配的情况，采用RANSAC算法进行误匹配点的消除；
作为进一步的实现方式，去除误匹配点后得到目标物体在像素平面的位姿。接着进行位姿变换得到目标物体在世界坐标系下的位置，再结合目标在像素坐标系中的旋转变换，得出目标物体在世界坐标系下的位姿。
作为进一步的实现方式，采用基于快速扩展随机树的路径规划算法，在状态空间中选取采样点进行碰撞点检测。
上述本发明的实施例的有益效果如下：
(1)本发明的一个或多个实施方式使用基于色彩空间的区域检测以及区域划分的特征点检测，解决了传统特征点检测中特征点分配不均的问题，同时增加目标区域的特征点数量，提高了匹配的精度。
(2)本发明的一个或多个实施方式使用二值特征描述子和汉明距离匹配，相比于传统的SURF描述子和欧氏距离的匹配方式，减少了运算量，提高了匹配速度。
(3)本发明的一个或多个实施方式使用基于快速扩展随机树(RRT/rapidlyexploring random tree)的路径规划算法有效地解决高维空间和复杂约束的路径规划问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明根据一个或多个实施方式的系统结构示意图；
图2是本发明根据一个或多个实施方式的方法流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；
实施例一：
本实施例提供了一种基于特征匹配的机械臂抓取系统，如图1所示，包括图像获取模块、特征匹配模块、位姿生成模块、立体位姿获取模块、抓取模块，图像获取模块用于获取目标物体色彩图片和景深图像，并输出色彩图片到特征匹配模块；特征匹配模块用于接收色彩图片并进行处理，将特征匹配结果输入位姿生成模块；位姿生成模块用于接收特征匹配结果，并输出平面位姿到立体位姿获取模块；立体位姿获取模块用于将平面位姿与景深图像融合，生成目标立体位姿，并输入抓取模块。
进一步的，所述抓取模块包括抓取机构、机械臂驱动模块、机械臂控制模块，所述机械臂控制模块通过机械臂驱动模块连接抓取机构，机械臂控制模块连接立体位姿获取模块，所述机械臂控制模块连接电源模块。
立体位姿获取模块将目标立体位姿输入机械臂控制模块，机械臂控制模块输入控制信号到机械臂驱动模块，机械臂驱动模块驱动抓取机构抓取目标物体。
在本实施例中，所述图像获取模块采用深度摄像机；机械臂控制模块、机械臂驱动模块、抓取机构均采用现有机械臂配套结构，此处不再赘述。
实施例二：
本实施例提供了一种基于特征匹配的机械臂抓取方法，如图2所示，包括：
获取图像信息，采用基于色彩空间的方式进行预处理，获取目标物体可能出现的区域；
根据预处理的结果进行基于图像区域划分的特征点检测；
对检测出的特征点进行计算得到特征描述子，将场景图像的特征描述子与数据集中的特征描述子进行汉明距离匹配，获取目标相对于数据集的姿态变换矩阵；
对姿态变换矩阵进行坐标转换，得到目标物体在世界坐标系下的位姿；
进行运动规划，控制机械臂进行目标物体的抓取。
进一步的，基于色彩空间的预处理方法为：
当目标物体的颜色与背景相差较大时，基于像素点R、G、B三通道值的不同对场景图片进行，预先划分出目标物体所在的区域。根据目标与背景的色彩差异设置R、G、B阈值，在x轴与y轴方向上，对图片的像素值进行投影计算，求其三通道上的像素值加权平均，如下述公式：
Figure BDA0002954631500000061
Figure BDA0002954631500000062
Figure BDA0002954631500000063
其中，n代表图片的列数，代表R通道在x轴方向的投影，是一个m维的列向量，m代表图片的行数，表示第j列的R通道的像素，以此类推立刻得到RGB三通道的像素值在x轴与y轴上的投影。
当得到投影结果后，便可根据设置的阈值进行比较，投影结果小于(或大于)所设阈值的部分所在下标，即为所得到的目标区域。
进一步的，一般的特征点检测方法，从图片的整体出发对整个图片进行检测，这样会导致特征点的分布不均，从而影响图像的匹配精度。基于区域划分的特征点检测方法首先将整个图片分成不同的区域，并根据上一步的结果设定每个区域的阈值，从而保证特征点的合理分布，提高了匹配的精度。
在构造高斯金字塔尺度空间时，将图像均匀分割成I×J个大小相同的区域，I为分割的行数，J为分割的列数，在这些区域中，特征点会随机分布。设置每个普通区域特征点的数量为M，第一步所得到的目标所在区域的特征点数为1.5M。如此，可实现特征点的均匀分布，增加匹配的精度。
对每个区域分别进行surf特征点检测，将检测到的特征点数量与每个区域的阈值进行比较，若数量大于阈值则舍弃部分特征点，使其数量等于阈值，若数量小于阈值，则提高特征点的数量上限重新进行检测。
进一步的，构建特征描述子进行特征匹配的方法为：
检测特征点后，需要对特征点进行描述，生成特征点描述子。首先对图像进行高斯滤波以减少噪声的干扰。接着再以特征点为中心的邻域(邻域范围为S×S)中选取N对像素点进行计算，比较灰度值的大小，进行二进制赋值。所采用的像素点对选取方法一般为高斯随机取样。
Figure BDA0002954631500000071
式中：x、y为选取的像素点对，x、y都呈高斯分布，
Figure BDA0002954631500000072
准则采用服从各向同性的同一高斯分布。p(x)，p(y)分别为点对的像素值，每对特征点通过上述方式比较完成后构成一个N维二进制特征向量。
构建N维特征点描述子规则为：
Figure BDA0002954631500000073
式中fn(p)为N维特征向量。
再使用灰度质心法计算特征点的主方向。建立以特征点为中心的邻域，邻域矩为：
Figure BDA0002954631500000074
式中，x、y为像素坐标，I(x,y)为此像素坐标的灰度值。
邻域矩的灰度质心为：
Figure BDA0002954631500000081
则特征点与质心的夹角即特征点主方向为：
Figure BDA0002954631500000082
将场景图片生成的特征点描述子与数据集中的初始特征点描述子进行匹配，若匹配成功，则可以得到场景中的目标相对于数据集中初始姿态的旋转矩阵。相比于传统的基于欧氏距离的特征匹配方法，本实施例的方法简化了计算量，提高了特征匹配的效率。
计算两幅图像各特征点描述子间的汉明距离，汉明距离越小说明特征向量相似性越高。
假设两个N维的特征描述向量为：
d1＝(x1x2…xN)d2＝(y1y2…yN)
则汉明距离为：
Figure BDA0002954631500000083
其中N代表特征描述向量的维数。设置阈值为T，当计算的距离小于T时，代表特征点匹配成功。
进一步的，特征点在匹配的时候会存在误匹配的情况，采用RANSAC算法进行误匹配点的消除，首先选出4个匹配点对，计算初始的拟合模型，然后计算所有匹配点与拟合模型的投影误差，误差小于阈值的匹配点即为内点，不满足模型的即为外点，统计内点的个数。之后更换匹配点对重复进行以上步骤K次，选取内点数量最多的模型为最优模型，满足此模型的匹配点即为所求。
进一步的，去除误匹配点后得到目标物体在像素平面的位姿。接着进行位姿变换得到目标物体在世界坐标系下的位置，再结合目标在像素坐标系中的旋转变换，得出目标物体在世界坐标系下的位姿。
所用公式为：
Figure BDA0002954631500000091
其中，ZC为物体的深度信息，u、v为像素坐标系中的位置，dx为x轴方向一个像素的宽度，dy为y轴方向一个像素的宽度，(u0,v0)为图像平面的主点，f为相机焦距，X、Y、Z为物体在世界坐标系下的坐标，R为3X3阶的旋转矩阵，t为3X1的位移向量。
进一步的，运动规划是在给定的两个位置之间寻找约束符合条件的路径。首先进行正、逆运动学分析，将目标位姿从笛卡尔空间内转换到机械臂关节空间中，然后通过运动规划算法计算，初始位姿到末端位姿的连接轨迹。本实施例采用基于快速扩展随机树(RRT/rapidly exploring random tree)的路径规划算法，在状态空间中选取采样点进行碰撞点检测，保证了机械臂抓取过程中，不会发生碰撞问题。
更进一步的，基于快速扩展随机树的步骤如下：
首先定义初始状态为Xinit，规划的终点为Xgoal，将Xinit设置为快速随机搜索树的根节点，然后在可行空间中随机选取一个状态点Xrand作为探索方向点，遍历当前的快速随机搜索树T，当找到T上距离最近的节点Xnear，在Xrand与Xnear的连线上选取新节点Xnew，将新节点Xnew加入快速随机搜索树T，通过随机采样不断地增加叶子节点，直到最终到达终点Xgoal。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于特征匹配的机械臂抓取方法，其特征在于，包括：
获取图像信息，采用基于色彩空间的方式进行预处理，获取目标物体可能出现的区域；
根据预处理的结果进行基于图像区域划分的特征点检测；
基于区域划分的特征点检测过程为：在构造高斯金字塔尺度空间时，将图像均匀分割成M×N个大小相同的区域，其中M为分割的行数，N为分割的列数；对每个区域分别进行surf特征点检测，将检测到的特征点数量与每个区域的阈值进行比较；若数量大于阈值则舍弃部分特征点，使其数量等于阈值，若数量小于阈值，则提高特征点的数量上限重新进行检测；
对检测出的特征点进行计算得到特征描述子，并将场景图像的特征描述子与数据集中的特征描述子进行汉明距离匹配；获得目标物体在像素平面的位姿；
构建特征描述子进行特征匹配的过程为：首先对图像进行高斯滤波，然后以特征点为中心的邻域选取N对像素点进行计算，比较灰度值的大小，进行二进制赋值；再使用灰度质心法计算特征点的主方向，根据特征点方向设置特征点描述子方向，使特征点描述子具有旋转不变性；接着使用汉明距离进行图像与数据集中特征点描述子的特征匹配；
使用姿态变换矩阵进行坐标转换，得到目标物体在世界坐标系下的位姿；
进行运动规划，控制机械臂进行目标物体的抓取。
2.根据权利要求1所述的一种基于特征匹配的机械臂抓取方法，其特征在于，根据目标与背景的色彩差异设置R、G、B阈值，在x轴与y轴方向上对图片的像素值进行投影计算，求其三通道上的像素值加权平均；得到投影结果后，根据设置的阈值进行比较得到目标区域。
3.根据权利要求1所述的一种基于特征匹配的机械臂抓取方法，其特征在于，特征点在匹配时会存在误匹配的情况，采用RANSAC算法进行误匹配点的消除。
4.根据权利要求1所述的一种基于特征匹配的机械臂抓取方法，其特征在于，采用基于快速扩展随机树的路径规划算法，在状态空间中选取采样点进行碰撞点检测。
5.一种基于特征匹配的机械臂抓取系统，执行权利要求1～4任一项权利要求所述的一种基于特征匹配的机械臂抓取方法，其特征在于，包括：
图像获取模块，用于获取目标物体色彩图片和景深图像；
特征匹配模块，用于接收色彩图片并进行处理，输出特征匹配结果；
位姿生成模块，用于接收特征匹配结果，并输出平面位姿；
立体位姿获取模块，用于将平面位姿与景深图像融合，生成目标立体位姿；
抓取模块，用于根据目标立体位姿抓取目标物体。
6.根据权利要求5所述的一种基于特征匹配的机械臂抓取系统，其特征在于，所述图像获取模块采用深度摄像机。
7.根据权利要求5所述的一种基于特征匹配的机械臂抓取系统，其特征在于，所述抓取模块包括抓取机构、机械臂驱动模块、机械臂控制模块，所述机械臂控制模块通过机械臂驱动模块连接抓取机构，机械臂控制模块连接立体位姿获取模块。
8.根据权利要求7所述的一种基于特征匹配的机械臂抓取系统，其特征在于，所述机械臂控制模块连接电源模块。
CN202110217910.5A 2021-02-26 2021-02-26 一种基于特征匹配的机械臂抓取系统与方法 Active CN112883984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110217910.5A CN112883984B (zh) 2021-02-26 2021-02-26 一种基于特征匹配的机械臂抓取系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110217910.5A CN112883984B (zh) 2021-02-26 2021-02-26 一种基于特征匹配的机械臂抓取系统与方法

Publications (2)

Publication Number Publication Date
CN112883984A CN112883984A (zh) 2021-06-01
CN112883984B true CN112883984B (zh) 2022-12-30

Family

ID=76054711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110217910.5A Active CN112883984B (zh) 2021-02-26 2021-02-26 一种基于特征匹配的机械臂抓取系统与方法

Country Status (1)

Country Link
CN (1) CN112883984B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595896B (zh) * 2021-08-05 2022-04-05 河南大学 一种基于vlc链路的混合数据中心网络的多路由通信方法
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质
CN114663686A (zh) * 2022-03-07 2022-06-24 腾讯科技（深圳）有限公司 物体特征点匹配方法及装置、训练方法及装置
CN114862848B (zh) * 2022-07-05 2022-10-21 江苏顺联工程建设有限公司 一种市政施工用吊装设备的智能控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463108B (zh) * 2014-11-21 2018-07-31 山东大学 一种单目实时目标识别及位姿测量方法
CN105741324A (zh) * 2016-03-11 2016-07-06 江苏物联网研究发展中心 移动平台上的运动目标检测识别与跟踪方法
CN106826815B (zh) * 2016-12-21 2019-05-31 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN109702741B (zh) * 2018-12-26 2020-12-18 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN110414533B (zh) * 2019-06-24 2023-09-05 东南大学 一种改进orb的特征提取与匹配方法
CN110340891B (zh) * 2019-07-11 2022-05-24 河海大学常州校区 基于点云模板匹配技术的机械臂定位抓取系统及方法
CN111899334B (zh) * 2020-07-28 2023-04-18 北京科技大学 一种基于点线特征的视觉同步定位与地图构建方法及装置
CN112017197A (zh) * 2020-09-07 2020-12-01 山东交通学院 一种图像特征提取方法及系统

Also Published As

Publication number Publication date
CN112883984A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112883984B (zh) 一种基于特征匹配的机械臂抓取系统与方法
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
Lin et al. Robotic grasping with multi-view image acquisition and model-based pose estimation
CN112669385B (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN113034600B (zh) 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
Kumar et al. Visual motor control of a 7DOF redundant manipulator using redundancy preserving learning network
Zhang et al. Sim2real learning of obstacle avoidance for robotic manipulators in uncertain environments
Chen et al. Random bin picking with multi-view image acquisition and CAD-based pose estimation
Kaymak et al. Implementation of object detection and recognition algorithms on a robotic arm platform using raspberry pi
Sun et al. Robotic grasping using semantic segmentation and primitive geometric model based 3D pose estimation
Ogas et al. A robotic grasping method using convnets
CN117021099A (zh) 一种面向任意物体基于深度学习和图像处理的人机交互方法
CN109508141B (zh) 用于点云数据贴合的冗余点检测方法
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
CN113927606B (zh) 一种机器人3d视觉抓取方法及系统
Hwang et al. Neural-network-based 3-D localization and inverse kinematics for target grasping of a humanoid robot by an active stereo vision system
Zhang et al. Robotic grasp detection using effective graspable feature selection and precise classification
Xin et al. Real-time dynamic system to path tracking and collision avoidance for redundant robotic arms
Peng et al. 6D Hybrid Pose Estimation in Cluttered Industrial Scenes for Robotic Grasping
Wang et al. Attention-based Deep Learning for Visual Servoing
Villagomez et al. Robot grasping based on RGB object and grasp detection using deep learning
Song et al. Evolutionary Pose Measurement by Stereo Model Matching.
Fu et al. CRPlace: Camera-Radar Fusion with BEV Representation for Place Recognition
Mitschke et al. Image-based visual servoing of rotationally invariant objects using a u-net prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant