CN111598172B - 基于异构深度网络融合的动态目标抓取姿态快速检测方法 - Google Patents

基于异构深度网络融合的动态目标抓取姿态快速检测方法 Download PDF

Info

Publication number
CN111598172B
CN111598172B CN202010420998.6A CN202010420998A CN111598172B CN 111598172 B CN111598172 B CN 111598172B CN 202010420998 A CN202010420998 A CN 202010420998A CN 111598172 B CN111598172 B CN 111598172B
Authority
CN
China
Prior art keywords
grabbing
network
boundary
target
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010420998.6A
Other languages
English (en)
Other versions
CN111598172A (zh
Inventor
张云洲
夏崇坤
王磊
秦操
暴吉宁
陈昕
李奇
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202010420998.6A priority Critical patent/CN111598172B/zh
Publication of CN111598172A publication Critical patent/CN111598172A/zh
Application granted granted Critical
Publication of CN111598172B publication Critical patent/CN111598172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标检测与机器人操作领域，公开了基于异构深度网络融合的动态目标抓取姿态快速检测方法。所述方法包括：1.动态目标样本集的制作方法；2.异构深度网络的训练方法；3.异构深度网络的融合机制；4.抓取姿态确定方法。待检测的动态目标物体，通过深度相机获取其RGB图像和深度图，然后将RGB图和深度图进行I型深度网络的目标识别，获取目标的边界框和中心区域的点云信息，然后通过异构融合机制选取合适的点云输入到II型深度网络中进行抓取姿态识别，进而得到最终的抓取姿态检测结果。该方法可以充分发挥不同深度网络的优势，可快速提取动态目标的核心特征，进而实现高效稳定的抓取姿态检测与识别。

Description

基于异构深度网络融合的动态目标抓取姿态快速检测方法
技术领域
本发明属于目标检测与机器人操作领域，涉及一种基于异构深度网络融合的动态目标抓取姿态快速检测方法。
背景技术
视觉环境下的动态目标抓取操作是智能机器人领域非常具有挑战性的一个研究方向。其中，动态目标的抓取姿态检测是最为关键和核心的内容。抓取姿态主要包括目标物体的三维空间坐标和对应的抓取边界，针对的是常用的二指或三指机械手。
视觉条件下的抓取姿态检测主要包括四个步骤：(1)特征提取，(2)目标识别，(3)抓取姿态识别，(4)抓取姿态确定。当前的主流方法都是遵循先进行目标识别，然后将目标区域进行图像分割，从而继续进行抓取姿态识别与确定。例如，对于目标识别可采用视觉特征描述子或高精度动态相机，抓取姿态一般采用几何分析等。然而，基于特征描述子的方法对光照、环境、物体的纹理特征等具有较多限制，适应性较差，检测精度和实时性均很难满足实际的工业需求；抓取姿态的几何分析方法耗时较长，实时性较差，也容易受物体形状影响。同时，高精度的测量仪器往往价格昂贵，对使用环境较为苛刻，难以大范围应用。此外，不同于静态目标抓取，动态目标对抓取姿态的检测精度、实时性和安全性都有较高的要求，尤其是当测量误差较大或实时性较差时，容易导致设备损坏、财产损失等安全事故，这无疑增加了检测的难度。随着深度神经网络在机器视觉领域的快速发展，越来越多的研究人员开始使用深度神经网络来提取特征信息进行目标识别，或实现抓取姿态识别。但这些基于深度神经网络的方法在具体应用上较为单一化，很难充分发挥不同神经网络在识别领域的优点，难以实现快速准确的抓取姿态检测。
发明内容
本发明目的是提供一种基于异构深度网络融合的动态目标抓取姿态检测方法，通过不同结构类型的融合，充分发挥不同类型神经网络的特色与优点，进而为动态目标抓取姿态的确定提供快速、准确和高鲁棒性的检测结果，作为后续机器人实现自主操作的基础。
本发明提供一种基于异构深度网络融合的动态目标抓取姿态快速检测方法，包括以下步骤：
S1：通过视觉传感器获取目标场景的RGB图像和深度图像；
S2：对所获得的RGB图像进行目标物体标注和抓取边界标注，分别作为目标训练集T1和抓取姿态训练数据集T2；
S3：将训练集T1输入I型深度网络，进行迭代训练，当loss函数低于0.5，则训练结束，作为目标识别网络；将训练集T2输入II型深度网络进行迭代训练，当loss函数低于0.1，则训练结束，作为抓取姿态识别网络；
S4：在实际测试中，通过视觉传感器连续获取实际场景的RGB图和深度图，将RGB图输入步骤S3获得的目标识别网络，获取目标边界框平面坐标[(p1,q1),(p2,q1),(p1,q2),(p2,q1)]；同时，将RGB图输入步骤S3获得的抓取姿态识别网络，获取抓取边界坐标集合Tg；其中，第i个抓取边界为[(mi1,ni1),(mi2,ni2),(mi3,ni3),(mi4,ni4)]；
S5：根据目标边界平面坐标，利用如下公式计算目标的中心点平面坐标(p0,q0)；
S6：根据目标的中心点平面坐标(p0,q0)，遍历查找对应的深度图，结合机器人视觉系统的坐标转换关系，从而获取目标中心点的点云坐标(x0,y0,z0)，作为目标物体在世界坐标系中的三维坐标；
S7：抓取边界坐标集合Tg，计算所有抓取边界的中心位置集合Cg，其中第i个抓取边界中心点坐标为(ci1,ci2)；
S8：根据目标的中心点平面坐标(p0,q0)，遍历查找抓取边界的中心位置集合Cg，寻找与目标中心点平面坐标(p0,q0)，最近的抓取边界的中心位置；设符合条件的是第i*个抓取边界中心坐标，对应的抓取边界为[(mi*1,ni*1),(mi*2,ni*2),(mi*3,ni3),(mi*4,ni*4)]；通过机器人视觉系统的坐标转换关系，得到符合条件的抓取边界对应的世界坐标为[(Mi*1,Ni*1),(Mi*2,Ni*2),(Mi*3,Ni*3),(Mi*4,Ni*4)]；
S9：根据符合条件的第i*个抓取边界的世界坐标，利用如下公式计算获取抓取边界对应的一个方向向量为d＝[1,k]；
对应的单位方向向量为e＝[e1,e2]，其计算方式如下：
S10：根据目标物体的点云坐标和抓取边界的单位向量，得到目标物体对应的抓取姿态[x0,y0,z0,e1,e2]。
进一步地，上述步骤S3所述的I型深度网络为YOLOV3网络、SSD网络、YOLOV4网络、Faster RCNN网络、Mask RCNN网络、RetinaNet网络、DSSD网络中的一种。
进一步地，上述步骤S3所述的II型深度网络为ResNet网络、DenseNet网络、DPN网络、SE-Net网络、AOGNet网络中的一种。
本发明的有益效果是同时采用不同类型的深度网络，通过融合机制来实现动态目标抓取姿态获取的方法，打破了传统方法只能利用单一深度网络进行目标识别或抓取姿态识别的局限，通过异构网络融合完成抓取姿态检测。通过这种异构网络的融合机制，既可以进行快速的目标识别与定位，又能完成高精度的抓取姿态检测，同时满足实时性和实用性的要求，该方法具有较大的发展前景。
附图说明
图1为目标物体的标注示意图。
图2为抓取姿态的标注示意图。
图3为实施例1的基于I型深度网络的目标识别示意图。
图4为实施例1的基于II型深度网络的抓取姿态识别示意图。
图5为动态目标抓取姿态检测方法流程图。
图中：1目标物体1；2目标物体2；3目标物体3；4目标物体4；5目标物体5；6目标物体6。
具体实施方式
下面，将结合附图1～5进一步详细说明本发明的具体实施方式
实施例1
本发明基于异构深度网络融合的动态目标抓取姿态检测方法，具体实施步骤如下：
S1：通过视觉传感器Kinect V2 sensor获取目标场景的RGB图像和深度图像。
S2：对所获得的RGB图像进行目标物体标注，作为目标训练集T1，对应的标注示意图如图1所示；同时对所获得的RGB图像进行抓取边界标注，作为抓取姿态训练数据集T2，对应的标注示意图如图2所示。
S3：将训练集T1输入I型深度网络，即YOLOV3网络，进行迭代训练，当loss函数低于0.5，则训练结束，作为目标识别网络；将训练集T2输入II型深度网络，即ResNet网络，进行迭代训练，当loss函数低于0.1，则训练结束，作为抓取姿态识别网络。
S4：在实际测试中，通过视觉传感器连续获取实际场景的RGB图和深度图，将RGB图输入步骤S3获得的目标识别网络，获取目标边界框平面坐标[(p1,q1),(p2,q1),(p1,q2),(p2,q1)]，目标识别过程的示意图如图3所示；同时，将RGB图输入步骤S3获得的抓取姿态识别网络，获取抓取边界坐标集合Tg，抓取姿态识别的示意图如图4所示。其中，第i个抓取边界为[(mi1,ni1),(mi2,ni2),(mi3,ni3),(mi4,ni4)]，。
S5：根据目标边界平面坐标，利用如下公式计算目标的中心点平面坐标(p0,q0)；
S6：根据目标的中心点平面坐标(p0,q0)，遍历查找对应的深度图，结合机器人视觉系统的坐标转换关系，从而获取目标中心点的点云坐标(x0,y0,z0)，作为目标物体在世界坐标系中的三维坐标。
S7：抓取边界坐标集合Tg，计算所有抓取边界的中心位置集合Cg，其中第i个抓取边界中心点坐标为(ci1,ci2)。
S8：根据目标的中心点平面坐标(p0,q0)，遍历查找抓取边界的中心位置集合Cg，寻找与目标中心点平面坐标(p0,q0)，最近的抓取边界的中心位置；设符合条件的是第i*个抓取边界中心坐标，对应的抓取边界为[(mi*1,ni*1),(mi*2,ni*2),(mi*3,ni3),(mi*4,ni*4)]；通过机器人视觉系统的坐标转换关系，得到符合条件的抓取边界对应的世界坐标为[(Mi*1,Ni*1),(Mi*2,Ni*2),(Mi*3,Ni*3),(Mi*4,Ni*4)]。
S9：根据符合条件的第i*个抓取边界的世界坐标，利用如下公式计算获取抓取边界对应的一个方向向量为d＝[1,k]。
对应的单位方向向量为e＝[e1,e2]，其计算方式如下：
S10：根据目标物体的点云坐标和抓取边界的单位向量，得到目标物体对应的抓取姿态[x0,y0,z0,e1,e2]，对应的动态目标抓取检测系统流程图如图5所示。
S11：以图1中的物体1-物体6共6个物体作为目标，将其放置于导轨平台上，通过双臂协作机器人系统“NEXTAGE”的视觉系统对所提方法进行验证，并与其他主流方法进行对比，经过反复测试取平均值，具体结果如表1所示。
表1本发明与其他对比算法的测试结果
附：算法1：SIFT+FCA；算法2：SURF+FCA；算法3：DNN+FCA；实施例1：YOLOV3+ResNet；实施例2：SSD+DenseNet。
与对比算法相比，本专利所提出的实施例1对应的方法在运行时间上更短，检测精度和准确率均有明显提高，基本符合机器人自主操作所需的实时性和实用性要求。
实施例2
本实施例与实施例1的区别仅在于，选用另外两种异构型深度网络进行测试，即步骤S3中I型深度网络选用SSD神经网络，II型深度网络选用DenseNet深度网络。本实施例S11：仍通过双臂协作机器人系统“NEXTAGE”对所提方法进行了验证，对于各类目标的测试结果如表1。
与对比算法相比，本专利所提出的实施例2对应的方法具有较短的运行时间，较高的检测精度和准确率，较好地满足了机器人自主操作所需实时性和实用性要求。

Claims (1)

1.基于异构深度网络融合的动态目标抓取姿态快速检测方法，其特征在于，包括以下步骤：
S1：通过视觉传感器获取目标场景的RGB图像和深度图像；
S2：对所获得的RGB图像进行目标物体标注和抓取边界标注，分别作为目标训练集T1和抓取姿态训练数据集T2；
S3：将训练集T1输入I型深度网络，进行迭代训练，当loss函数低于0.5，则训练结束，作为目标识别网络；将训练集T2输入II型深度网络进行迭代训练，当loss函数低于0.1，则训练结束，作为抓取姿态识别网络；所述的I型深度网络为YOLOV3网络、SSD网络、YOLOV4网络、Faster RCNN网络、Mask RCNN网络、RetinaNet网络、DSSD网络中的一种；所述的II型深度网络为ResNet网络、DenseNet网络、DPN网络、SE-Net网络、AOGNet网络中的一种；
S4：在实际测试中，通过视觉传感器连续获取实际场景的RGB图和深度图，将RGB图输入步骤S3获得的目标识别网络，获取目标边界平面坐标[(p1,q1),(p2,q1),(p1,q2),(p2,q2)]；同时，将RGB图输入步骤S3获得的抓取姿态识别网络，获取抓取边界坐标集合Tg；其中，第i个抓取边界为[(mi1,ni1),(mi2,ni2),(mi3,ni3),(mi4,ni4)]；
S5：根据目标边界平面坐标，利用如下公式计算目标的中心点平面坐标(p0,q0)；
S6：根据目标的中心点平面坐标(p0,q0)，遍历查找对应的深度图，结合机器人视觉系统的坐标转换关系，从而获取目标中心点的点云坐标(x0,y0,z0)，作为目标物体在世界坐标系中的三维坐标；
S7：抓取边界坐标集合Tg，计算所有抓取边界的中心位置集合Cg，其中第i个抓取边界中心点坐标为(ci1,ci2)；
S8：根据目标的中心点平面坐标(p0,q0)，遍历查找抓取边界的中心位置集合Cg，寻找与目标中心点平面坐标(p0,q0)，最近的抓取边界的中心位置；设符合条件的是第i*个抓取边界中心点坐标，对应的抓取边界为[(mi*1,ni*1),(mi*2,ni*2),(mi*3,ni3),(mi*4,ni*4)]；通过机器人视觉系统的坐标转换关系，得到符合条件的抓取边界对应的世界坐标为[(Mi*1,Ni*1),(Mi*2,Ni*2),(Mi*3,Ni*3),(Mi*4,Ni*4)]；
S9：根据符合条件的第i*个抓取边界的世界坐标，利用如下公式计算获取抓取边界对应的一个方向向量为d＝[1,k]；
对应的单位方向向量为e＝[e1,e2]，其计算方式如下：
S10：根据目标物体的点云坐标和抓取边界的单位向量，得到目标物体对应的抓取姿态[x0,y0,z0,e1,e2]。
CN202010420998.6A 2020-05-18 2020-05-18 基于异构深度网络融合的动态目标抓取姿态快速检测方法 Active CN111598172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010420998.6A CN111598172B (zh) 2020-05-18 2020-05-18 基于异构深度网络融合的动态目标抓取姿态快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010420998.6A CN111598172B (zh) 2020-05-18 2020-05-18 基于异构深度网络融合的动态目标抓取姿态快速检测方法

Publications (2)

Publication Number Publication Date
CN111598172A CN111598172A (zh) 2020-08-28
CN111598172B true CN111598172B (zh) 2023-08-29

Family

ID=72185682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010420998.6A Active CN111598172B (zh) 2020-05-18 2020-05-18 基于异构深度网络融合的动态目标抓取姿态快速检测方法

Country Status (1)

Country Link
CN (1) CN111598172B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112008727A (zh) * 2020-08-31 2020-12-01 北京云迹科技有限公司 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人
CN112258446A (zh) * 2020-08-31 2021-01-22 洛阳中信成像智能科技有限公司 一种基于改进yolo算法的工业零件缺陷检测方法
CN113172663A (zh) * 2021-03-24 2021-07-27 深圳先进技术研究院 一种机械手抓取稳定性识别方法、装置和电子设备
CN114474050A (zh) * 2021-12-29 2022-05-13 北京精密机电控制设备研究所 基于抓取预测的双臂机器人多种拓扑结构工件分拣方法
CN114627239B (zh) * 2022-03-04 2024-04-30 北京百度网讯科技有限公司 包围盒生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度卷积网络的多目标动态三维抓取位姿检测方法;杨傲雷 等;仪器仪表学报;第40卷(第12期);第135-142页 *

Also Published As

Publication number Publication date
CN111598172A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
CN110509273B (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN101339658B (zh) 航拍交通视频的快速鲁棒配准方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN116249607A (zh) 用于机器人抓取三维物体的方法和装置
Liu et al. Grasp and Inspection of Mechanical Parts based on Visual Image Recognition Technology
Ma et al. Binocular vision object positioning method for robots based on coarse-fine stereo matching
CN115861999A (zh) 一种基于多模态视觉信息融合的机器人抓取检测方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN110634160A (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
Wang et al. GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
Lin et al. Target recognition and optimal grasping based on deep learning
Daqi et al. An industrial intelligent grasping system based on convolutional neural network
Fu et al. RGB-D instance segmentation-based suction point detection for grasping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant