CN110315535B - 一种基于连续路径的机器人目标抓取检测方法 - Google Patents

一种基于连续路径的机器人目标抓取检测方法 Download PDF

Info

Publication number
CN110315535B
CN110315535B CN201910497628.XA CN201910497628A CN110315535B CN 110315535 B CN110315535 B CN 110315535B CN 201910497628 A CN201910497628 A CN 201910497628A CN 110315535 B CN110315535 B CN 110315535B
Authority
CN
China
Prior art keywords
grabbing
path
continuous path
detection model
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910497628.XA
Other languages
English (en)
Other versions
CN110315535A (zh
Inventor
黄攀峰
陈路
孟中杰
刘正雄
董刚奇
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910497628.XA priority Critical patent/CN110315535B/zh
Publication of CN110315535A publication Critical patent/CN110315535A/zh
Application granted granted Critical
Publication of CN110315535B publication Critical patent/CN110315535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于连续路径的机器人目标抓取检测方法，在被抓取物体上获得连续路径：连接被抓取物体上相互重叠的抓取区域的几何中心点，得到路径集合；对路径集合排除冗余路径和置信度评价得到有效的连续路径；基于YOLO V3模型建立被抓取物体的多尺度抓取检测模型；在Darknet框架下对多尺度抓取检测模型进行训练，将包含被抓取物体的图像输入训练完成的多尺度抓取检测模型，得到输出的抓取参数。有益效果：1.能够描述所有可行的抓取区域分布，从而更准确地评价预测抓取区域的可抓取概率，有助于抓取检测模型更快地收敛，加快模型训练时间；2.能够同时预测多个不同位置、不同尺度的抓取区域，从而为实际抓取操作提供多种抓取选择。

Description

一种基于连续路径的机器人目标抓取检测方法
技术领域
本发明属于图像处理与计算机视觉领域，涉及一种基于连续路径的机器人目标抓取检测方法。
背景技术
随着人工智能技术的发展，机器人在工业生产、家庭生活中扮演着越来越重要的作用。然而，现有机器人通常只具备简单的语音交互、避障等能力，无法与人类开展更高级别的交互。机器人抓取是实现人机交互的重要手段，通过安装在机械臂末端的操作手爪，机器人可实现对目标的抓取操作，能够应用于流水线分拣、家庭服务等领域。
为实施目标抓取，需定义操作手爪抓取时的六维位姿，然而直接计算位姿信息涉及复杂的三维点云数据处理，影响算法运行效率。因此，现有的抓取策略通常采用有向矩形框对手爪姿态进行描述，主要参数包括：抓取区域中心点横、纵坐标，抓取区域的宽度和高度，以及旋转角度。根据矩形中心点可以在点云数据中确定手爪3维位置，矩形宽度可以确定手爪的张开距离，矩形角度可以确定沿相机轴线的旋转角，并将图像平面的法线方向确定为手爪逼近方向，进而确定另外两个方向角，因此抓取姿态的估计问题可以转化为矩形抓取区域的检测问题。
在抓取区域表示方面，现有方法通常给出若干离散的有向矩形区域作为真实值，但此表示方法具有一定的局限性：其仅给出部分有效的抓取表示，任何与真实区域存在偏差的区域都被认为是无效抓取区域，这与事实不符。即使预测抓取区域与真实区域存在一定的偏差，其也有可能作为有效的抓取表示。因此，现有通过比较预测区域与真实区域角度偏差和覆盖率指标的方式无法有效反映当前区域的实际可抓取概率，采用一种具有连续特征分布，且能够反映当前物体所有可行抓取区域的抓取表示方法，具有十分重要的意义。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于连续路径的机器人目标抓取检测方法，弥补现有抓取表示方式在适应性和可靠性上的不足。
技术方案
一种基于连续路径的机器人目标抓取检测方法，其特征在于步骤如下：
步骤1、在被抓取物体上获得连续路径：连接被抓取物体上相互重叠的抓取区域的几何中心点，得到路径集合；
1、对路径集合排除冗余路径：定义距离矩阵D，其中Dij表示抓取区域gi,gj之间的欧氏距离，若其没有交集，则Dij设置为无穷大；连接每一行最小值对应的抓取区域：
Figure GDA0003542724440000021
其中，h(gi)表示与区域gi具有最小距离的抓取区域索引，k为图像中抓取区域的数目；
2、采用AlexNet模型构建目标分类器，对抓取区域h(gi)中每一个路径进行置信度评价，若当前路径的置信度超过设定的阈值，则连续并为有效的连续路径，否则为非连续放弃；
步骤2：基于YOLO V3模型的多尺度抓取检测模型，以连续路径第一端点的横、纵坐标(x1,y1)，第二端点的横、纵坐标(x2,y2)，以及分布于该路径上有向区域的宽度w作为检测模型的参数，建立被抓取物体的多尺度抓取检测模型；
步骤3：在Darknet框架下对多尺度抓取检测模型进行训练，将包含被抓取物体的图像输入训练完成的多尺度抓取检测模型，得到输出的抓取参数。
所述步骤3的训练策略为：每一批次处理16幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001。训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。
所述步骤3的训练策略：改变饱和度、曝光度和色调，对训练图像进行数据扩充，考虑旋转角度与分类结果直接相关，数据扩充时并不改变其旋转角度。
所述步骤2的阈值为0.6～0.8。
有益效果
本发明提出的一种基于连续路径的机器人目标抓取检测方法，在被抓取物体上获得连续路径：连接被抓取物体上相互重叠的抓取区域的几何中心点，得到路径集合；对路径集合排除冗余路径和置信度评价得到有效的连续路径；基于YOLO V3模型建立被抓取物体的多尺度抓取检测模型；在Darknet框架下对多尺度抓取检测模型进行训练，将包含被抓取物体的图像输入训练完成的多尺度抓取检测模型，得到输出的抓取参数。
与现有技术相比，本发明具有以下有益效果：
1.能够描述所有可行的抓取区域分布，从而更准确地评价预测抓取区域的可抓取概率，有助于抓取检测模型更快地收敛，加快模型训练时间；
2.能够同时预测多个不同位置、不同尺度的抓取区域，从而为实际抓取操作提供多种抓取选择。
附图说明
图1为传统抓取表示方法；
图2为本发明提出的基于连续路径的抓取表示方法；
图3为本发明的抓取检测模型基本结构图；
图4为传统方法的抓取检测结果示意图；
图5为本发明的抓取检测结果示意图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明提出一种基于连续路径的机器人目标抓取检测方法，其主要由连续路径表示、抓取检测模型构建和模型训练/测试三部分构成。
该方法具体包括步骤如下：
1.在被抓取物体上获得连续路径：连接被抓取物体上相互重叠的抓取区域的几何中心点，得到路径集合；
由于少数给定的离散真实抓取区域无法有效描述物体上的所有可抓取区域，引入连续路径的概念，其定义为一条或多条分布于物体上的直线段，任何分布于直线段上，并满足一定条件的有向矩形框均可认为是可抓取区域。
考虑到真实抓取区域的几何中心点必定位于连续路径上，连续路径的生成可通过直接连接各真实区域的几何中心点产生，但易导致大量的无效连接，因此在实际操作中，只针对相互重叠的抓取区域，连接其几何中心点。在此基础上，删除部分无效路径，无效路径主要体现在两方面：一是冗余路径，二是非连续路径。冗余路径表现为同一对起始点之间存在多条抓取路径，导致在区域投影过程中，相同区域内会出现多个接近的投影区域，其对算法精度的提升有限，但却降低了运行效率；非连续路径表现为路径没有完全位于物体上，其同时横跨物体与背景部分，以此为基准进行区域投影易导致投影后的区域与物体大面积重叠，从而造成检测失败。
为排除冗余路径，定义距离矩阵D，其中Dij表示抓取区域gi,gj之间的欧氏距离，若其没有交集，则Dij设置为无穷大。此外，矩阵对角线元素Dii同样取为无穷大，以避免陷入局部最小值。将每一行最小值对应的抓取区域相连接，如下式所示，即可排除冗余路径的影响。
Figure GDA0003542724440000041
其中，h(gi)表示与区域gi具有最小距离的抓取区域索引，k为图像中抓取区域的数目。
为排除非连续路径，采用AlexNet模型构建目标分类器，对每一个路径进行置信度评价。若当前路径的置信度超过设定的阈值，则可认为当其是连续的，否则为非连续。具体地，提取以当前路径为中心轴的矩形区域，将其旋转至水平方向，并等比例放缩至48×48，其余部分用0补齐。补齐后的区域作为目标分类模型的输入，提取的矩形区域表示为：
Figure GDA0003542724440000051
其中，xc,yc,wc,hc,θc为提取区域几何中心的横、纵坐标，提取区域的宽度、高度和旋转角度，(xi,yi,wi,hi,θi)和(xj,yj,wj,hj,θj)分别为当前抓取路径两端点对应真实抓取区域的参数。
经上述两步筛选，可排除绝大部分的非连续路径和冗余路径，从而保留真正的连续路径。
所述AlexNet模型见文献：Krizhevsky,A.,I.Sutskever,andG.E.Hinton.Imagenet Classification with Deep Convolutional NeuralNetworks.Advances in Neural Information Processing Systems.2012
2.抓取检测模型构建：
连续路径可由5个参数唯一确定，分别为：路径两端点的横、纵坐标(x1,y1)和(x2,y2)，以及分布于该路径上有向区域的宽度w。进一步，将连续路径参数的估计问题转化为位置参数x,y、尺寸参数w,h的回归问题和旋转参数θ的分类问题，设计基于YOLO V3模型的多尺度抓取检测模型。
该检测模型采用Darknet-53提取特征，并在三个尺度下对特征进行位置回归和类别分类，其基本结构见附图。模型的损失函数主要由两部分构成：回归损失和分类损失。回归损失定义为：
Figure GDA0003542724440000061
其中，lxy,lwh,lcf分别表示位置、尺度和置信度的损失值，conf为当前网络包含物体的概率，
Figure GDA0003542724440000062
表示预测值位置参数x,y与真实值位置参数
Figure GDA0003542724440000063
之间的交叉熵，
Figure GDA0003542724440000064
表示预测值conf和真实值
Figure GDA0003542724440000065
之间的交叉熵，ign表示当前网络中包含物体，但其覆盖率低于指定阈值，暂不参与损失值的计算。
分类损失定义为：
Figure GDA0003542724440000066
其中，c,
Figure GDA0003542724440000067
分别表示预测值和真实值的类别。则模型的总损失为回归损失与分类损失的和，即：l＝lreg+lcls。
所述YOLO V3模型见文献：Redmon,J.and A.Farhadi,YOLOv3:An IncrementalImprovement.arXiv preprint arXiv:1804.02767,2018.
3.模型训练/测试：
模型训练和测试均在Nvidia GeForce RTX 2080Ti上进行，在训练过程中，每一批次处理16幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001。训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。通过改变饱和度、曝光度和色调，对训练图像进行数据扩充，考虑旋转角度与分类结果直接相关，数据扩充时并不改变其旋转角度。
在测试过程中，针对每一幅输入图像，抓取检测模型输出一条或多条连续路径，每一条路径均给出位于端点处的有向基准区域，见附图。任何分布于连续路径上，且尺寸、旋转角度与基准区域相同的有向矩形框，均可认为是有效抓取区域，从而解决了传统抓取方法无法表示物体上所有可行抓取区域的不足。

Claims (3)

1.一种基于连续路径的机器人目标抓取检测方法，其特征在于步骤如下：
步骤1、在被抓取物体上获得连续路径：连续路径定义为一条或多条分布于物体上的直线段；具体地：连接被抓取物体上相互重叠的抓取区域的几何中心点，得到连续路径集合，并采用下述步骤删除无效路径；
(1)对路径集合排除冗余路径：定义距离矩阵D，其中Dij表示抓取区域gi,gj之间的欧氏距离，若其没有交集，则Dij设置为无穷大；连接每一行最小值对应的抓取区域：
Figure FDA0003542724430000011
其中，h(gi)表示与区域gi具有最小距离的抓取区域索引，k为图像中抓取区域的数目；
(2)采用AlexNet模型构建目标分类器，对抓取区域h(gi)中每一个路径进行置信度评价，若当前路径的置信度超过设定的阈值，则连续并为有效的连续路径，否则为非连续放弃；
步骤2：基于YOLO V3模型的多尺度抓取检测模型，以连续路径第一端点的横、纵坐标(x1,y1)，第二端点的横、纵坐标(x2,y2)，以及分布于该路径上有向区域的宽度w作为检测模型的参数，建立被抓取物体的多尺度抓取检测模型；
步骤3：在Darknet框架下对多尺度抓取检测模型进行训练，将包含被抓取物体的图像输入训练完成的多尺度抓取检测模型，得到输出的抓取参数。
2.根据权利要求1所述基于连续路径的机器人目标抓取检测方法，其特征在于：所述步骤3的训练策略为：每一批次处理16幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001， 训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。
3.根据权利要求1或2所述基于连续路径的机器人目标抓取检测方法，其特征在于：所述步骤3的训练策略：改变饱和度、曝光度和色调，对训练图像进行数据扩充，考虑旋转角度与分类结果直接相关，数据扩充时并不改变其旋转角度。
CN201910497628.XA 2019-06-10 2019-06-10 一种基于连续路径的机器人目标抓取检测方法 Active CN110315535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910497628.XA CN110315535B (zh) 2019-06-10 2019-06-10 一种基于连续路径的机器人目标抓取检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910497628.XA CN110315535B (zh) 2019-06-10 2019-06-10 一种基于连续路径的机器人目标抓取检测方法

Publications (2)

Publication Number Publication Date
CN110315535A CN110315535A (zh) 2019-10-11
CN110315535B true CN110315535B (zh) 2022-05-17

Family

ID=68120259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910497628.XA Active CN110315535B (zh) 2019-06-10 2019-06-10 一种基于连续路径的机器人目标抓取检测方法

Country Status (1)

Country Link
CN (1) CN110315535B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627064B (zh) * 2020-04-25 2021-07-09 哈尔滨理工大学 一种行人交互友好型的单目避障方法
CN112109086B (zh) * 2020-09-03 2021-08-10 清华大学深圳国际研究生院 面向工业堆叠零件的抓取方法、终端设备及可读存储介质
CN113305848B (zh) * 2021-06-11 2022-06-07 哈尔滨工业大学 一种基于YOLO v2网络的实时抓取检测方法
CN114378827B (zh) * 2022-01-26 2023-08-25 北京航空航天大学 一种基于移动机械臂整体控制的动态目标跟踪抓取方法
CN117697768B (zh) * 2024-02-05 2024-05-07 季华实验室 一种目标抓取方法、机器人、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118706A (ja) * 2013-12-16 2015-06-25 株式会社リコー 物体追跡方法と装置
CN105469088A (zh) * 2015-11-17 2016-04-06 西北工业大学 一种适用于目标识别的物体预测区域优化方法
CN107220601A (zh) * 2017-05-18 2017-09-29 西北工业大学 一种基于在线置信度判别的目标抓捕点预测方法
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN109584298A (zh) * 2018-11-07 2019-04-05 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118706A (ja) * 2013-12-16 2015-06-25 株式会社リコー 物体追跡方法と装置
CN105469088A (zh) * 2015-11-17 2016-04-06 西北工业大学 一种适用于目标识别的物体预测区域优化方法
CN107220601A (zh) * 2017-05-18 2017-09-29 西北工业大学 一种基于在线置信度判别的目标抓捕点预测方法
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN109584298A (zh) * 2018-11-07 2019-04-05 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进 ＨＯＧ特征的空间非合作目标检测;陈路，黄攀峰 等;《航空学报》;20160225;717-726 *

Also Published As

Publication number Publication date
CN110315535A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110315535B (zh) 一种基于连续路径的机器人目标抓取检测方法
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN109658413B (zh) 一种机器人目标物体抓取位置检测的方法
EP3319016B1 (en) Control systems using deep reinforcement learning
CN108496127B (zh) 集中于对象的有效三维重构
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110909671B (zh) 一种融合概率和高度信息的栅格地图障碍物检测方法
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN109960880A (zh) 一种基于机器学习的工业机器人避障路径规划方法
CN107292875A (zh) 一种基于全局‑局部特征融合的显著性检测方法
CN113705636A (zh) 一种自动驾驶车辆轨迹预测方法、装置及电子设备
CN110796700A (zh) 基于卷积神经网络的多物体抓取区域定位方法
Farag et al. Real-time robotic grasping and localization using deep learning-based object detection technique
CN113033547A (zh) 一种基于MobileNetV2的焊接状态分类方法
CN110908384B (zh) 一种分布式多机器人协同过未知随机迷宫的编队导航方法
Du et al. A multi-object grasping detection based on the improvement of YOLOv3 algorithm
CN113771027B (zh) 一种基于深度学习的双臂协作抓取方法
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113326932B (zh) 基于物体检测的物体操作指令跟随学习方法及装置
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
Cai et al. CCAN: Constraint co-attention network for instance grasping
CN117315025A (zh) 一种基于神经网络的机械臂6d位姿抓取方法
Zhang et al. Towards precise model-free robotic grasping with sim-to-real transfer learning
Li et al. Vision-based obstacle avoidance algorithm for mobile robot
Zhang et al. Object detection and grabbing based on machine vision for service robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant