CN113284179A - 一种基于深度学习的机器人多物体分拣方法 - Google Patents
一种基于深度学习的机器人多物体分拣方法 Download PDFInfo
- Publication number
- CN113284179A CN113284179A CN202110575065.9A CN202110575065A CN113284179A CN 113284179 A CN113284179 A CN 113284179A CN 202110575065 A CN202110575065 A CN 202110575065A CN 113284179 A CN113284179 A CN 113284179A
- Authority
- CN
- China
- Prior art keywords
- sorting
- robot
- deep learning
- target
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的机器人多物体分拣方法,所述分拣方法具体步骤如下:首先利用旋转目标检测网络检测任务场景中目标物体的类别、位置及旋转角度;之后通过实例分割网络分割出物体表面像素,利用相机标定、主成分分析法和欧拉角法对分割出的像素进行处理,获得目标物体的姿态;然后通过基于先验知识的物体分拣次序推理算法获得物体的分拣次序;最后机器人根据获得的物体分拣次序和位姿,自主完成多物体分拣任务。本发明基于深度学习的方法实现了场景中物体位姿和分拣次序的获取,使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准确的分拣操作。
Description
技术领域
本发明公开了一种基于深度学习的机器人多物体分拣方法,属于机器人分拣的技术领域。
背景技术
流水线是工业制造的重要组成,大部分工厂在流水线上的分拣工作依然由人工完成。但 是,随着人工成本的持续增加,机器人效率高、稳定性高和适应各种环境的优点逐渐显现。 因此,许多工厂开始通过“机器换人”的方式进行分拣工作。目前常用示教器示教或离线编 程的方式指导机器人重复完成规定的动作,从而对结构化场景中的物体完成抓取或分拣任务。 但是,当目标物体的类别、位置和形状发生变化时,机器人需要重新进行示教或编程来完成 预定的目标,这极大的降低了生产效率。在这种情况下,研究人员通过将机器人与视觉传感 器相结合的方式使机器人的感知能力与环境理解能力增加,从而能够适应更加复杂的分拣任 务。相较于传统的分拣系统,融合了视觉的机器人分拣系统,不仅能够识别物体的类别,还 能够精确定位物体,具有更加广泛的应用前景。
随着机器人技术的不断发展,机器人分拣系统被应用到更多的场景中,例如垃圾分拣、 物流仓储和深海勘探等。机器人分拣系统在面对这些非结构化场景时,不仅要实现对目标物 体的识别与定位,还要理解物体的空间关系。现有的分拣系统一般通过目标检测技术或点云 匹配的方式对环境中的目标物体进行识别与定位。这在面对存在堆叠、遮挡情况的多种物体 分拣的情景时,不能完成预定的目标,甚至由于对物体的上下文关系理解不足,导致抓取过 程中损坏了目标物体。因此,发明一种可以对非结构化场景中随意摆放的多物体进行分拣的 方法具有很重要的意义。
发明内容
本发明的目的在于提供一种基于深度学习的多物体分拣方法,使机器人能够自主的对堆 叠的多物体实现准确、安全和高效的分拣。本发明通过构建的旋转目标检测网络模型对复杂 分拣场景中的目标物体进行了类别、位置和旋转角度的识别。利用实例分割模型从场景中获 取了物体的像素信息,并进一步转换为了点云。然后采用主成分分析法对物体进行了主法向 的估计,并结合旋转角度解算出了各个物体的位姿。最后以物体表面点云变化情况作为先验 知识对场景中物体的分拣顺序进行了推理,使得机器人能够自主、稳定和安全地对场景中的 多个未知物体进行分拣。
本发明所要解决的问题是由以下技术方案实现的:
一种基于深度学习的机器人多物体分拣方法,所述分拣方法具体步骤如下:
步骤S10,利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度 等信息;
步骤S20,通过实例分割网络分割出目标物体表面像素;
步骤S30,利用相机标定将物体表面像素转化为点云,并运用主成分分析法对物体表面 进行法向量估计;
步骤S40,结合物体的旋转角度与法向量,采用欧拉角法估计目标物体的抓取姿态;
步骤S50,利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序;
步骤S60,将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端,指导机器 人自主完成多物体的分拣任务。
优选的是,所述步骤S10的具体过程如下:
步骤S101,将Kinect相机安装在工作平台的一侧,采集多个目标物体在不同位置、姿 态和堆叠情况下的图像;
步骤S102,对采集的图像按照设定的概率进行随机数据增强;
步骤S103,对数据增强后形成的数据集进行标注,并利用标注后的数据集完成旋转目 标检测网络的训练;
步骤S104,使用训练好的旋转目标检测网络对相机采集的图像进行实时检测,获得场 景中目标物体类别和旋转边框。
步骤S105,利用张正友标定法对Kinect相机进行标定,获得相机的内外参矩阵;
步骤S106,通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的 位置和旋转角度等信息。
优选的是,所述步骤S20的具体过程如下:
步骤S201,对数据集进行多边形标注,利用新标注后的数据集对实例分割网络进行训 练;
步骤S202,使用训练好的实例分割网络对场景图像进行实时处理,将目标物体的像素 从图像中分割出来。
优选的是,所述步骤S30的具体过程如下:
步骤S301,根据相机的内、外参矩阵将分割出的物体表面像素转换为点云;
步骤S302,采用降采样与离群点去除方法对点云进行预处理;
步骤S303,对物体表面点云进行主成分分析,获得表面主法向。
优选的是,所述步骤S40的具体过程如下:
步骤S401,计算物体表面法向量与世界坐标系Z轴正方向的夹角;
步骤S402,结合目标物体的旋转角度及其法向量与世界坐标系Z轴正方向的夹角,利 用欧拉角法估计出物体的姿态。
优选的是,所述步骤S50的具体过程如下:
步骤S501,通过实验的方式,获得在不发生堆叠情况下,物体表面点云在Z轴方向上 方差的阈值;
步骤S502,以获得的点云方差的阈值作为先验知识,对场景中物体的分拣顺序进行推 理。
优选的是,所述步骤S60的具体过程如下:
步骤S601,通过TCP/IP通讯的方式,将视觉处理端获取的物体位姿和分拣顺序传输给 机器人控制端;
步骤S602,机器人控制端接收并处理获得的信息后,根据分拣次序,指导机器人自主 完成多物体分拣任务。
本发明相对于现有而言具有的有益效果:
1.目前大多数机器人分拣系统仅能够对单类目标物体或相互分离的多类目标物体完成 分拣任务,而本发明的方法使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定 和准确的分拣操作。
2.本发明提出的分拣方法不仅能够对场景中物体类别和位姿进行检测,还能够分析出 堆叠物体的分拣次序,从而使机器人分拣更加智能与安全。
附图说明
图1是本发明的机器人多物体分拣方法的总体框架图。
图2是本发明的坐标系示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是 本发明一部分实施例,而不是全部的实施例。基于发明中的实施例,本领域普通技术人员在 没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明第一实施例在现有技术的基础上提供了一种基于深度学习的机器人 多物体分拣方法,包括以下步骤:
步骤S10,利用旋转目标检测网络来获取场景中目标物体的类别、位置和旋转角度等信 息,具体步骤如下:
步骤S101,将Kinect相机安装在工作平台的一侧,采集多个目标物体在不同位置、姿 态和堆叠情况下的图像。为保证训练出来的神经网络效果良好并且有较好的泛化性,目标物 体的摆放姿态和堆叠情况应尽可能的多。
步骤S102,对采集的图像按照设定的概率进行随机数据增强,增强方式包括:水平翻 转、旋转、裁剪、模糊和添加高斯噪声等。各种变换方式可以相互叠加,因此生成的新数据 可能经过了多种变换。
步骤S103,对数据增强后形成的数据集进行标注。由于要实现旋转目标检测模型的训 练,因此在标注图像时,不仅要对物体的类别和位置进行标注,还需要标注目标的旋转角度。 标注完成后,将数据集分为训练集与测试集,并用训练集完成旋转目标检测网络的训练。
步骤S104,使用训练好的旋转目标检测网络对相机采集的图像进行实时检测,获得场 景中目标物体类别和旋转边框。
步骤S105,如图2所示,将标定板坐标系固定在标定板角点处,并使世界坐标系与其 重合。通过在工作空间内操控机器人运动,获得不同位姿下标定板的图像,并在每次拍摄后, 记录机器人各关节角信息。最后将图片与关节角信息输入到集成了张正友标定法的程序中, 计算出相机的内、外参矩阵。
步骤S106,通过相机的内、外参矩阵将目标物体边框的坐标转换为世界坐标系(与机 器人坐标系重合)下物体的位置(x,y,z)和旋转角度θ等信息。
步骤S20,通过实例分割网络分割出目标物体表面像素,具体步骤如下:
步骤S201,通过标注工具对数据集进行多边形标注,利用新标注后的数据集对实例分 割网络进行训练。
步骤S202,使用训练好的实例分割网络对场景图像进行实时处理,将目标物体的像素 从图像中分割出来。
步骤S30,利用相机标定将物体表面像素转化为点云,并运用主成分分析法对物体表面 进行法向量估计,具体步骤如下:
S301,通过相机标定获得的内、外参矩阵,将分割出的物体表面像素坐标转换成世界坐 标系下的点云。其中,第i个像素点对应的世界坐标记为pi=(xi,yi,zi)。点云是n个点所 组成的集合,表示为P={p1,p2,…,pn}。
S302,为了在提高点云处理速度的同时,又保持其固有的几何特征。采用降采样的方式 对点云进行处理,从而将点云中点的数量降低。之后对点云进行离群点去除操作,从而减少 点云的噪声。
S303,主成分分析法首先计算出输入点云数据的平均位置,公式表示为:
对矩阵M进行SVD运算,获得其特征值λ1、λ2和λ3。将特征值带回矩阵计算出对应的特征向量V1、V2和V3。协方差矩阵的物理意义为点云沿特定方向V的相关性。矩阵M的特 征值越小,点云在该特征值解算出的特征向量方向的相关性越小。由于物体表面的点云在法 向量方向相关性较小,因此λ1、λ2和λ3中的最小值所对应的特征向量就是物体表面法线的 估计。但是计算出的法向量有二向性,因此需要根据其与世界坐标系下Z轴正方向的关系重新定向:
其中,N表示物体表面法线,Z表示世界坐标系下Z轴正方向。步骤S40,结合物体的旋转角度与法向量,采用欧拉角法估计目标物体的抓取姿态,具体步骤如下:
步骤S40,结合物体的旋转角度与法向量,采用欧拉角法估计目标物体的抓取姿态,具 体步骤如下:
步骤S401,计算物体表面法向量与世界坐标系Z轴正方向的夹角:
步骤S402,采用z-y-x欧拉角法描述物体的姿态。目标物体依次绕自身的z、y和x轴旋 转α、β和γ角得到最终姿态:
其中,sα、cβ分别代表sinα与cosβ,矩阵中其它元素相似。
步骤S50,利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序,具体 步骤如下:
步骤S501,将目标物体摆放在分拣平台任意位置上,解算此时物体表面点云沿Z方向 的方差。重复以上步骤,获得每类物体表面点云方差的最大值δmax。选定稍大于δmax的值作 为该类物体堆叠顺序判断的阈值δ。
步骤S502,计算分割出的物体表面点云在Z方向的方差σ2和均值μ;然后通过比较方 差与对应阈值之间的大小,并结合均值推理出物体的分拣次序。
步骤S60,将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端,指导机器 人自主完成多物体的分拣任务,具体步骤为:
步骤S601,通过TCP/IP通讯的方式连接视觉处理端与机器人控制端,并将视觉处理端 获取的物体位姿和分拣顺序传输给机器人控制。
步骤S602,机器人控制端接收并处理获得的信息后,根据分拣次序和物体位姿指导机 器人自主完成多物体分拣任务。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用。 它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言,可容易地实现另 外的修改。因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的 细节和这里示出与描述的图例。
Claims (7)
1.一种基于深度学习的机器人多物体分拣方法,其特征在于,所述分拣方法具体步骤如下:
步骤S10,利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度信息;
步骤S20,通过实例分割网络分割出目标物体表面像素;
步骤S30,利用相机标定将物体表面像素转化为点云,并运用主成分分析法对物体表面进行法向量估计;
步骤S40,结合物体的旋转角度与法向量,采用欧拉角法估计目标物体的抓取姿态;
步骤S50,利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序;
步骤S60,将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端,指导机器人自主完成多物体的分拣任务。
2.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法,其特征在于,所述步骤S10的具体过程如下:
步骤S101,将Kinect相机安装在工作平台的一侧,采集多个目标物体在不同位置、姿态和堆叠情况下的图像;
步骤S102,对采集的图像按照设定的概率进行随机数据增强;
步骤S103,对数据增强后形成的数据集进行标注,并利用标注后的数据集完成旋转目标检测网络的训练;
步骤S104,使用训练好的旋转目标检测网络对相机采集的图像进行实时检测,获得场景中目标物体类别和旋转边框;
步骤S105,利用张正友标定法对Kinect相机进行标定,获得相机的内外参矩阵;
步骤S106,通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的位置和旋转角度信息。
3.请根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法,其特征在于,所述步骤S20的具体过程如下:
步骤S201,对数据集进行掩膜的标注,利用新标注后的数据集对实例分割网络进行训练;
步骤S202,使用训练好的实例分割网络对场景图像进行实时处理,将目标物体的像素从图像中分割出来。
4.请根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法,其特征在于,所述步骤S30的具体过程如下:
步骤S301,根据相机的内、外参矩阵将分割出的物体表面像素转换为点云;
步骤S302,采用降采样与离群点去除方法对点云进行预处理;
步骤S303,对物体表面点云进行主成分分析,获得表面法向量。
5.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法,其特征在于,所述步骤S40的具体过程如下:
步骤S401,计算物体表面法向量与世界坐标系Z轴正方向的夹角;
步骤S402,结合目标物体的旋转角度及其法向量与世界坐标系Z轴正方向的夹角,利用欧拉角法估计出物体的姿态。
6.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法,其特征在于,所述步骤S50的具体过程如下:
步骤S501,通过实验的方式,获得在不发生堆叠情况下,物体表面点云在Z轴方向上方差的阈值;
步骤S502,以获得的点云方差的阈值作为先验知识,对场景中物体的分拣顺序进行推理。
7.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法,其特征在于,所述步骤S60的具体过程如下:
步骤S601,通过TCP/IP通讯的方式,将视觉处理端获取的物体位姿和分拣顺序传输给机器人控制端;
步骤S602,机器人控制端接收并处理获得的信息后,根据分拣次序,指导机器人自主完成多物体分拣任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110575065.9A CN113284179B (zh) | 2021-05-26 | 2021-05-26 | 一种基于深度学习的机器人多物体分拣方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110575065.9A CN113284179B (zh) | 2021-05-26 | 2021-05-26 | 一种基于深度学习的机器人多物体分拣方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113284179A true CN113284179A (zh) | 2021-08-20 |
CN113284179B CN113284179B (zh) | 2022-09-13 |
Family
ID=77281518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110575065.9A Active CN113284179B (zh) | 2021-05-26 | 2021-05-26 | 一种基于深度学习的机器人多物体分拣方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284179B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420839A (zh) * | 2021-08-23 | 2021-09-21 | 齐鲁工业大学 | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 |
CN113657551A (zh) * | 2021-09-01 | 2021-11-16 | 陕西工业职业技术学院 | 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法 |
CN113731860A (zh) * | 2021-09-03 | 2021-12-03 | 西安建筑科技大学 | 一种容器内堆积物件自动分拣系统及方法 |
CN113920142A (zh) * | 2021-11-11 | 2022-01-11 | 江苏昱博自动化设备有限公司 | 一种基于深度学习的分拣机械手多物体分拣方法 |
CN114872207A (zh) * | 2022-05-24 | 2022-08-09 | 中国地质大学(武汉) | 基于dxf文件的激光钻掘轨迹规划方法及系统 |
CN116228854A (zh) * | 2022-12-29 | 2023-06-06 | 中科微至科技股份有限公司 | 一种基于深度学习的包裹自动分拣方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243599B1 (en) * | 1997-11-10 | 2001-06-05 | Medacoustics, Inc. | Methods, systems and computer program products for photogrammetric sensor position estimation |
DE102006036345A1 (de) * | 2006-08-03 | 2008-02-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Lagebestimmung von Objekten im dreidimensionalen Raum |
CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
CN110420867A (zh) * | 2019-07-26 | 2019-11-08 | 华南理工大学 | 一种使用平面检测的自动分拣的方法 |
CN110580725A (zh) * | 2019-09-12 | 2019-12-17 | 浙江大学滨海产业技术研究院 | 一种基于rgb-d相机的箱体分拣方法及系统 |
CN111259934A (zh) * | 2020-01-09 | 2020-06-09 | 清华大学深圳国际研究生院 | 一种基于深度学习的堆叠物体6d位姿估计方法和装置 |
CN111754515A (zh) * | 2019-12-17 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 堆叠物品的顺序抓取方法和装置 |
CN111784770A (zh) * | 2020-06-28 | 2020-10-16 | 河北工业大学 | 基于shot和icp算法的无序抓取中的三维姿态估计方法 |
CN111899302A (zh) * | 2020-06-23 | 2020-11-06 | 武汉闻道复兴智能科技有限责任公司 | 一种基于点云数据的视觉检测的方法、装置和系统 |
CN112837371A (zh) * | 2021-02-26 | 2021-05-25 | 梅卡曼德(北京)机器人科技有限公司 | 基于3d匹配的物体抓取方法、装置及计算设备 |
-
2021
- 2021-05-26 CN CN202110575065.9A patent/CN113284179B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243599B1 (en) * | 1997-11-10 | 2001-06-05 | Medacoustics, Inc. | Methods, systems and computer program products for photogrammetric sensor position estimation |
DE102006036345A1 (de) * | 2006-08-03 | 2008-02-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Lagebestimmung von Objekten im dreidimensionalen Raum |
CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
CN110420867A (zh) * | 2019-07-26 | 2019-11-08 | 华南理工大学 | 一种使用平面检测的自动分拣的方法 |
CN110580725A (zh) * | 2019-09-12 | 2019-12-17 | 浙江大学滨海产业技术研究院 | 一种基于rgb-d相机的箱体分拣方法及系统 |
CN111754515A (zh) * | 2019-12-17 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 堆叠物品的顺序抓取方法和装置 |
CN111259934A (zh) * | 2020-01-09 | 2020-06-09 | 清华大学深圳国际研究生院 | 一种基于深度学习的堆叠物体6d位姿估计方法和装置 |
CN111899302A (zh) * | 2020-06-23 | 2020-11-06 | 武汉闻道复兴智能科技有限责任公司 | 一种基于点云数据的视觉检测的方法、装置和系统 |
CN111784770A (zh) * | 2020-06-28 | 2020-10-16 | 河北工业大学 | 基于shot和icp算法的无序抓取中的三维姿态估计方法 |
CN112837371A (zh) * | 2021-02-26 | 2021-05-25 | 梅卡曼德(北京)机器人科技有限公司 | 基于3d匹配的物体抓取方法、装置及计算设备 |
Non-Patent Citations (3)
Title |
---|
WU, XR: "Location Recognition Algorithm for Vision-Based Industrial Sorting Robot via Deep Learning", 《INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE》 * |
王鹏: "基于机器视觉的多机械臂煤矸石", 《工矿自动化》 * |
黄玲涛: "基于 Kinect 的机器人抓取系统研究", 《农业机械学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420839A (zh) * | 2021-08-23 | 2021-09-21 | 齐鲁工业大学 | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 |
CN113657551A (zh) * | 2021-09-01 | 2021-11-16 | 陕西工业职业技术学院 | 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法 |
CN113657551B (zh) * | 2021-09-01 | 2023-10-20 | 陕西工业职业技术学院 | 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法 |
CN113731860A (zh) * | 2021-09-03 | 2021-12-03 | 西安建筑科技大学 | 一种容器内堆积物件自动分拣系统及方法 |
CN113731860B (zh) * | 2021-09-03 | 2023-10-24 | 西安建筑科技大学 | 一种容器内堆积物件自动分拣系统及方法 |
CN113920142A (zh) * | 2021-11-11 | 2022-01-11 | 江苏昱博自动化设备有限公司 | 一种基于深度学习的分拣机械手多物体分拣方法 |
CN113920142B (zh) * | 2021-11-11 | 2023-09-26 | 江苏昱博自动化设备有限公司 | 一种基于深度学习的分拣机械手多物体分拣方法 |
CN114872207A (zh) * | 2022-05-24 | 2022-08-09 | 中国地质大学(武汉) | 基于dxf文件的激光钻掘轨迹规划方法及系统 |
CN114872207B (zh) * | 2022-05-24 | 2024-05-10 | 中国地质大学(武汉) | 基于dxf文件的激光钻掘轨迹规划方法及系统 |
CN116228854A (zh) * | 2022-12-29 | 2023-06-06 | 中科微至科技股份有限公司 | 一种基于深度学习的包裹自动分拣方法 |
CN116228854B (zh) * | 2022-12-29 | 2023-09-08 | 中科微至科技股份有限公司 | 一种基于深度学习的包裹自动分拣方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113284179B (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284179B (zh) | 一种基于深度学习的机器人多物体分拣方法 | |
CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
Nayar et al. | Learning, positioning, and tracking visual appearance | |
CN110211180A (zh) | 一种基于深度学习的机械臂自主抓取方法 | |
US11475589B2 (en) | 3D pose estimation by a 2D camera | |
CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
Kumar et al. | Visual motor control of a 7DOF redundant manipulator using redundancy preserving learning network | |
CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
CN114347015B (zh) | 一种机器人抓取控制方法、系统、装置及介质 | |
CN115213896A (zh) | 基于机械臂的物体抓取方法、系统、设备及存储介质 | |
US11554496B2 (en) | Feature detection by deep learning and vector field estimation | |
Lin et al. | Vision based object grasping of industrial manipulator | |
US11350078B2 (en) | 3D pose detection by multiple 2D cameras | |
Wang et al. | GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter | |
Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
CN117021099A (zh) | 一种面向任意物体基于深度学习和图像处理的人机交互方法 | |
Hameed et al. | Pose estimation of objects using digital image processing for pick-and-place applications of robotic arms | |
Sahu et al. | Shape features for image-based servo-control using image moments | |
CN110570473A (zh) | 一种基于点线融合的权重自适应位姿估计方法 | |
Yoshikawa et al. | Is it my body? Body extraction from uninterpreted sensory data based on the invariance of multiple sensory attributes | |
Funakubo et al. | Recognition and handling of clothes with different pattern by dual hand-eyes robotic system | |
Pyo et al. | Precise pose estimation using landmark feature extraction and blob analysis for bin picking | |
Yamada et al. | Pose estimation of a simple-shaped object based on poseclass using RGBD camera | |
Chowdhury et al. | Comparison of neural network-based pose estimation approaches for mobile manipulation | |
KR20220067719A (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |