CN107220601B - 一种基于在线置信度判别的目标抓捕点预测方法 - Google Patents

一种基于在线置信度判别的目标抓捕点预测方法 Download PDF

Info

Publication number
CN107220601B
CN107220601B CN201710350289.3A CN201710350289A CN107220601B CN 107220601 B CN107220601 B CN 107220601B CN 201710350289 A CN201710350289 A CN 201710350289A CN 107220601 B CN107220601 B CN 107220601B
Authority
CN
China
Prior art keywords
capture point
capture
target
mechanical arm
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710350289.3A
Other languages
English (en)
Other versions
CN107220601A (zh
Inventor
黄攀峰
陈路
张海涛
孟中杰
刘正雄
张夷斋
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710350289.3A priority Critical patent/CN107220601B/zh
Publication of CN107220601A publication Critical patent/CN107220601A/zh
Application granted granted Critical
Publication of CN107220601B publication Critical patent/CN107220601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于在线置信度判别的目标抓捕点预测方法，采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；采用Cornell Grasp Detection Dataset数据集训练卷积神经网络，得到预测物体抓捕点位置；对抓捕点进行在线判别，得到当前抓捕点的置信度和机械臂的旋转角度，以此使机械臂达到修正后的抓捕状态。通过与传统目标抓捕点预测方法的比较，进一步验证了本算法在复杂环境适应性、目标抓捕点预测精度上的优势，有广泛的应用前景。该方法能够对当前抓捕条件进行在线预测，并通过机械臂自身运动使待抓捕目标的姿态发生改变，以达到更好地抓捕条件。

Description

一种基于在线置信度判别的目标抓捕点预测方法
技术领域
本发明属于图像处理与计算机视觉领域，涉及一种基于在线置信度判别的目标抓捕点预测方法。
背景技术
视觉是机器人与外部环境交互的重要途径，而机械臂的抓取操作则是机器人的重要操作手段。随着多自由度机械臂技术的日益发展和多关节手爪灵活度的不断提高，机械臂能够更加灵活有效的完成绝大多数的目标抓取任务。传统意义上，机械臂对目标进行抓取操作时，待抓捕目标通常置于单一、整洁的台面上，且机械臂手眼相机视场中往往只有单一物体。但在实际操作中，上述条件很难得到满足，因此如何在复杂操作环境下中快速、有效地在多个物体中识别待抓捕物体具有重要的研究意义。
机械臂的抓取操作是机械臂最基本，也是最重要的一项能力。给定目标的抓捕位置后，机械臂通过规划自身路径达到指定的抓捕位置，进而完成抓捕操作。对平行式二指手爪而言，其抓捕操作通过缩小两平行手爪的距离实现。但上述的“抓捕点预测+ 手爪抓捕”的框架在实际应用中主要面临两个问题：
1、此框架只是被动的对图像进行反应，当待抓捕物体的当前姿态或角度不适合抓捕时，只能用置信度较低的抓捕点位置进行抓捕，此时无法保证抓捕成功率。
2、针对复杂环境下的多物体抓捕任务，单纯根据检测特征对物体进行抓捕有可能造成“先抓下方物体、后抓上方物体”的局面，增加了抓捕难度。
针对第一个问题，现有改进仍然主要集中对抓捕点预测算法本身，通过增大训练数据集、采用更强性能的预测器使得算法在极端环境下依然能够得到较为精度的抓捕点预测位置，但仍属于被动的预测方法，无法有效提高抓捕成功率。因此发展一种能够适应复杂环境下的多物体抓取需求，并能够通过机械臂与目标的交互，使物体达到更有利于抓捕的位置，有十分重要的意义。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于在线置信度判别的目标抓捕点预测方法，弥补复杂环境下，现有的抓捕点预测算法无法很好地选择目标抓捕点的不足。
技术方案
一种基于在线置信度判别的目标抓捕点预测方法，其特征在于步骤如下：
步骤1、目标识别：采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；
步骤2、目标包围盒对齐：采用Multi-Thresholding Straddling Expansion算法，利用图像中的局部颜色、边缘等特征，将预测区域的边界对齐，对步骤1的结果进行优化，；
步骤3、抓捕点预测：采用Cornell Grasp Detection Dataset数据集训练卷积神经网络，对步骤2的结果进行抓捕点的预测，得到预测物体Oi的抓捕点位置
Figure BDA0001297612340000021
步骤4、抓捕点在线判别：
以置信度表示当前抓捕点与理想抓捕点的偏置度，置信度越高，表示当前抓捕位置越理想。运动方向为使物体达到最优抓捕状态所需要的机械臂移动方向，具体方法为：
1、对步骤2已预测识的物体Oi，采用RANSAC方法从已有的3D模型库中选择具有最高匹配精度的物体模型Ci和其对应姿态Ai；
2、将3D模型Ci中的真实抓捕点g1,g2分别投影至二维成像平面，其中g1,g2分别表示三维空间中的坐标
Figure BDA0001297612340000031
投影后的二维坐标为
Figure BDA0001297612340000032
3、计算当前预测抓捕点的置信度f∈(0,1]，定义为：f＝2/(1+exp(dist(p,g)))，其中dist(p,g)表示预测抓捕点与真实抓捕点的位置偏置，定义为：
Figure BDA0001297612340000033
若预测抓捕点与真实抓捕点完全重合，其置信度为1，随着抓捕点相对距离的逐渐增大，置信度逐渐减小；
4、将机构臂在世界坐标系中的三维运动简化为绕物体的一维旋转运动，机械臂旋转平面与工作台平面平行，旋转角度θ定义为：
Figure BDA0001297612340000034
步骤5：按照当前抓捕点的置信度和机械臂的旋转角度，机械臂达到修正后的抓捕状态。
重复步骤3～步骤5，得到置信度更高的抓捕点位置预测结果。
有益效果
本发明提出的一种基于在线置信度判别的目标抓捕点预测方法，基于CNN(Convolutional Neural Networks)方法，通过与传统目标抓捕点预测方法的比较，进一步验证了本算法在复杂环境适应性、目标抓捕点预测精度上的优势，有广泛的应用前景。该方法能够对当前抓捕条件进行在线预测，并通过机械臂自身运动使待抓捕目标的姿态发生改变，以达到更好地抓捕条件。
与现有技术相比，本发明具有以下有益效果：
1.运行速度快，无明显延迟，能够满足实时抓捕和在线判别的时间复杂度要求；
2.具备自主判别能力，并能够通过机构臂与待抓捕物体的接触改变目标形态，从而达到更好地抓捕条件；
本发明的方法易于实现，其应用价值主要体现在以下几个方面：
1.可以在保证抓捕点预测精度的前提下，显著提升目标抓取在复杂操作环境下的成功率，从而有助于其实际应用；
2.能够根据检测结果实现对机械臂端对端的控制，因此本发明可以方便地嵌入现有的机械臂系统，无须对原系统进行适应性修改。
附图说明
图1为本发明的流程图；
图2为本发明的目标识别效果图；
图3为本发明的抓捕点预测效果图，其中，(a)为抓捕点初始预测结果，(b)为抓捕点二次预测结果。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明为一种基于在线判别的目标抓捕点预测方法，其主要由目标识别、目标包围盒对齐、抓捕点预测、抓捕点在线判别、机械臂运动路径规划和抓捕点二次预测六部分构成。
该方法具体包括步骤如下：
1.目标识别
为避免传统基于滑窗搜索的算法时间效率低下的问题，采用基于似物采样性的目标识别方法。首先提取手眼相机的实时成像结果，对于当前图像，采用EdgeBoxes方法[1]预测图像中所有可能包含物体的区域。
[1]C.L.Zitnick and P.Dollár,"Edge boxes:Locating object proposalsfrom edges,"in Computer Vision–ECCV 2014,ed:Springer,2014,pp.391-405.
2.目标包围盒对齐
对于目标预测区域，若其与目标真实包围盒的重叠部分占其并集的比例超过50％，即认为该目标得到正确检测。因此，目标识别结果与真实值存在一定的偏差，采用Multi-Thresholding Straddling Expansion算法[2]，利用图像中的局部颜色、边缘等特征，将预测区域的边界对齐，以达到更好的目标预测精度。
[2]X.Chen,H.Ma,X.Wang,and Z.Zhao,"Improving object proposals withmulti-thresholding straddling expansion,"in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2015,pp.2587-2595.
3.抓捕点预测
对于多物体的抓捕任务，除利用传统的检测特征外，结合深度传感器输出的每个物体的深度信息，将深度信息作为确定物体抓捕顺序的重要参考；进一步，通过CornellGrasp Detection Dataset数据集训练卷积神经网络，实现抓捕点的预测，预测的抓捕点位置表示为
Figure BDA0001297612340000051
4.抓捕点在线判别
传统的抓捕点预测算法只能针对当前的场景预测抓捕物体的抓捕点位置，其预测精度容易受复杂背景干扰的影响，是一种被动的预测方法。因此，将在线判别引入抓捕点的预测中，除每一个抓捕点的预测位置外，算法还会返回当前抓捕点的置信度和运动方向，置信度表明当前抓捕点与理想抓捕点的偏置度，置信度越高，表示当前抓捕位置越理想。运动方向为使物体达到最优抓捕状态所需要的机械臂移动方向。具体算法为：
1)根据步骤2已识别出的物体Oi，采用RANSAC(RANdom SAmple Consensus)方法从已有的3D模型库中选择具有最高匹配精度的物体模型 Ci和其对应姿态Ai，算法对遮挡和传感器噪声具有鲁棒性；
2)将3D模型Ci中的真实抓捕点g1,g2分别投影至二维成像平面，其中g1,g2分别表示三维空间中的坐标
Figure DEST_PATH_FDA0001297612330000012
投影后的二维坐标为
Figure BDA0001297612340000061
3)计算当前预测抓捕点的置信度f∈(0,1]，定义为：f＝2/(1+exp(dist(p,g)))，其中dist(p,g)表示预测抓捕点与真实抓捕点的位置偏置，定义为：
Figure BDA0001297612340000062
此时，若预测抓捕点与真实抓捕点完全重合，其置信度为1，随着抓捕点
相对距离的逐渐增大，置信度逐渐减小。
4)考虑到物体通常置于光洁平整的工作台上，将机构臂在世界坐标系中的三维运动简化为绕物体的一维旋转运动，机械臂旋转平面与工作台平面平行。旋转角度θ定义为：
Figure BDA0001297612340000063
5.机械臂运动路径规划
根据当前抓捕点的置信度和机械臂的旋转角度，机械臂自主规划其自身运动路径，达到修正后的抓捕状态。
6.抓捕点二次预测
由于已经通过机械臂的相对运动改变了手眼相机与物体的相对位置状态，此时重新按照步骤3对物体进行抓捕点检测，能够得到置信度更高的抓捕点位置预测结果。

Claims (2)

1.一种基于在线置信度判别的目标抓捕点预测方法，其特征在于步骤如下：
步骤1、目标识别：采用EdgeBoxes方法预测手眼相机实时图像中所有可能包含物体的区域；
步骤2、目标包围盒对齐：采用Multi-Thresholding Straddling Expansion算法，利用图像中的局部颜色、边缘特征，将预测区域的边界对齐，对步骤1的结果进行优化；
步骤3、抓捕点预测：采用Cornell Grasp Detection Dataset数据集训练卷积神经网络，对步骤2的结果进行抓捕点的预测，得到预测物体Oi的抓捕点位置
Figure FDA0002296153140000011
步骤4、抓捕点在线判别：
以置信度表示当前抓捕点与理想抓捕点的偏置度，置信度越高，表示当前抓捕位置越理想；运动方向为使物体达到最优抓捕状态所需要的机械臂移动方向，具体方法为：
(1)、对步骤2已预测的物体Oi，采用RANSAC方法从已有的3D模型库中选择具有最高匹配精度的物体模型Ci和其对应姿态Ai；
(2)、将3D模型Ci中的真实抓捕点g1,g2分别投影至二维成像平面，其中g1,g2分别表示三维空间中的坐标
Figure FDA0002296153140000012
投影后的二维坐标为
Figure FDA0002296153140000013
(3)、计算当前预测抓捕点的置信度f∈(0,1]，定义为：f＝2/(1+exp(dist(p,g)))，其中dist(p,g)表示预测抓捕点与真实抓捕点的位置偏置，定义为：
Figure FDA0002296153140000014
若预测抓捕点与真实抓捕点完全重合，其置信度为1，随着抓捕点相对距离的逐渐增大，置信度逐渐减小；
(4)、将机构臂在世界坐标系中的三维运动简化为绕物体的一维旋转运动，机械臂旋转平面与工作台平面平行，旋转角度θ定义为：
Figure FDA0002296153140000021
步骤5：按照当前抓捕点的置信度和机械臂的旋转角度，机械臂达到修正后的抓捕状态。
2.根据权利要求1所述基于在线置信度判别的目标抓捕点预测方法，其特征在于：重复步骤3～步骤5，得到置信度更高的抓捕点位置预测结果。
CN201710350289.3A 2017-05-18 2017-05-18 一种基于在线置信度判别的目标抓捕点预测方法 Active CN107220601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710350289.3A CN107220601B (zh) 2017-05-18 2017-05-18 一种基于在线置信度判别的目标抓捕点预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710350289.3A CN107220601B (zh) 2017-05-18 2017-05-18 一种基于在线置信度判别的目标抓捕点预测方法

Publications (2)

Publication Number Publication Date
CN107220601A CN107220601A (zh) 2017-09-29
CN107220601B true CN107220601B (zh) 2020-06-26

Family

ID=59944453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710350289.3A Active CN107220601B (zh) 2017-05-18 2017-05-18 一种基于在线置信度判别的目标抓捕点预测方法

Country Status (1)

Country Link
CN (1) CN107220601B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110293550B (zh) * 2018-03-21 2021-06-18 北京猎户星空科技有限公司 机械臂移动控制方法、装置和智能设备
CN109284768B (zh) * 2018-07-25 2022-04-01 西北工业大学 一种空间抓捕过程不确定性重构和预测方法
CN110125930B (zh) * 2019-04-18 2021-05-11 华中科技大学 一种基于机器视觉和深度学习的机械臂抓取控制方法
CN110315535B (zh) * 2019-06-10 2022-05-17 西北工业大学 一种基于连续路径的机器人目标抓取检测方法
CN111310637B (zh) * 2020-02-11 2022-11-11 山西大学 一种基于尺度不变网络的机器人目标抓取检测方法
CN115213890B (zh) * 2021-09-29 2023-12-08 达闼科技（北京）有限公司 抓取的控制方法、装置、服务器、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985143A (zh) * 2014-05-30 2014-08-13 上海交通大学 基于字典学习的视频中判别性在线目标跟踪方法
CN105159309B (zh) * 2015-09-01 2018-01-23 西北工业大学 一种利用偏置系绳的空间飞行器姿态稳定控制方法
CN105353790B (zh) * 2015-11-17 2017-11-28 西北工业大学 一种空间绳系机器人目标抓捕后复合体稳定控制方法
CN106055901B (zh) * 2016-06-02 2018-08-14 西北工业大学 一种自由漂浮空间机器人捕获翻滚目标的时机确定方法
CN106651949B (zh) * 2016-10-17 2020-05-15 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
CN106625671B (zh) * 2016-12-27 2019-02-19 西北工业大学 一种空间机器人抓捕翻滚目标的最优轨迹规划方法

Also Published As

Publication number Publication date
CN107220601A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220601B (zh) 一种基于在线置信度判别的目标抓捕点预测方法
Karaoguz et al. Object detection approach for robot grasp detection
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
Davison Real-time simultaneous localisation and mapping with a single camera
TWI394087B (zh) 追蹤目標物的方法及裝置
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN102929288A (zh) 基于视觉伺服的输电线路无人机巡检云台控制方法
CN109740613B (zh) 一种基于Feature-Shift和预测的视觉伺服控制方法
Huang et al. Fish tracking and segmentation from stereo videos on the wild sea surface for electronic monitoring of rail fishing
JP4877810B2 (ja) 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム
Li et al. A mobile robotic arm grasping system with autonomous navigation and object detection
Liu et al. A novel camera fusion method based on switching scheme and occlusion-aware object detection for real-time robotic grasping
CN116105721B (zh) 地图构建的回环优化方法、装置、设备及存储介质
TW202231426A (zh) 機器人控制方法、動作計算裝置及機器人系統
Wang et al. Improved visual odometry based on ssd algorithm in dynamic environment
CN112288809A (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及系统
Yu et al. Object recognition and robot grasping technology based on RGB-D data
Roy et al. Robotic surveying of apple orchards
CN114998573A (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
Chen et al. Multiple-object tracking based on monocular camera and 3-D lidar fusion for autonomous vehicles
Jiang et al. A novel occlusion-free active recognition algorithm for objects in clutter
Yang et al. Enhanced visual SLAM for construction robots by efficient integration of dynamic object segmentation and scene semantics
CN113781521A (zh) 一种基于改进YOLO-DeepSort的仿生机器鱼检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant