CN110264441A - 机器人平行板夹具与目标物体之间最佳接触线检测方法 - Google Patents

机器人平行板夹具与目标物体之间最佳接触线检测方法 Download PDF

Info

Publication number
CN110264441A
CN110264441A CN201910403247.0A CN201910403247A CN110264441A CN 110264441 A CN110264441 A CN 110264441A CN 201910403247 A CN201910403247 A CN 201910403247A CN 110264441 A CN110264441 A CN 110264441A
Authority
CN
China
Prior art keywords
contact line
contact
gradient
target object
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910403247.0A
Other languages
English (en)
Inventor
陈国华
王耀增
张爱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN201910403247.0A priority Critical patent/CN110264441A/zh
Publication of CN110264441A publication Critical patent/CN110264441A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

机器人平行板夹具与目标物体之间最佳接触线检测方法，涉及智能机器人视觉领域。此方法包括：(1)获取目标物体深度图像；(2)对深度图像进行卷积滤波；(3)进行二维卷积来进行物体梯度的计算；(4)对梯度的幅值以及梯度的方向进行计算；(5)将梯度方向利用直方图进行排列和统计并选取主要方向角；(6)跟踪梯度图像的轮廓线，从而确定轮廓线的长度；(7)去除超出规定阈值的轮廓线；(8)对接触线对的抓取稳定性进行考核；(9)选取可靠性得分最高的接触线对作为最佳抓取位置；(10)抓取可靠度大于阈值的抓取位置，如果有多个抓取位置选择得分最高的。本发明解决了对机器人平行板夹具与目标物体之间最佳接触线准确高效检测的问题。

Description

机器人平行板夹具与目标物体之间最佳接触线检测方法
技术领域
本发明涉及智能机器人视觉技术领域，尤其涉及一种基于深度图像的平行板夹具与目标物体之间最佳接触线检测方法。
背景技术
机器人视觉智能抓取在机器人领域当中目前是一个热门的研究方向，机器视觉在工业中的应用随着当前工业自动化智能化不断地提升应用也越来越广泛。
当前许多机器人是利用RGB摄像头来获取场景以及目标物体数据，之后利用图像处理来将目标物体的抓取位置提取出来。
当前目标物体抓取位置的提取方法主要是通过图像处理技术来得到特征点，比如SIFT、SURF、PFH、FPFH、Harris等。
如果利用目前的方式来提取出物体的抓取位置，我们得遍历各种方向来选择与检测特征，这样会影响目标物体接触位置的检测效率，所以将抓取位置的检测精确提取并加快速度是个重要的课题。
发明内容
本发明所要解决的问题是对机器人平行板夹具与目标物体之间最佳接触线准确高效的检测方法。不仅利用了平行板夹具以及目标物体本身的深度特征信息而且在稳定性方面进行了分析。
为了解决上述问题，本专利提供了基于深度图像视觉的最佳接触线提取方法，所述方法包括：
步骤1：获取目标物体深度图像；
步骤2：遍历对深度图像的像素来进行卷积滤波；
步骤3：利用x方向与y方向的两个卷积核对深度图像进行二维卷积来进行深度图像当中梯度的计算；
步骤4：计算每个梯度的幅值还有梯度的方向；
步骤5：将所有梯度方向借助直方图进行排列和统计并选取单个bin之中数量最多的5个角度作为物体的主要方向角度，在这里每5度划为一个bin；
步骤6：使用八邻域对梯度图像的轮廓线进行跟踪，最后确定好轮廓线的长度；
步骤7：确定好轮廓线之后寻找深度图像对应的的像素位置计算深度，同时将该轮廓线的浅点作为基础，如果轮廓上的某个点与该点的深度差值超出根据实际末端执行器抓手的内部深度D,把这个D设为阈值DThresh,那么把该点从轮廓线当中去除，同时根据三个标准来对接触线进行筛选并根据实际抓手的几何性质增加筛选接触线的条件；
步骤8：对所有接触线组合情况各自的抓取稳定性进行分析；
步骤9：计算出所有接触线对的抓取可靠度得分并从中选取最高分数的抓取接触线对作为抓取的位置；
步骤10：根据Cornell grasping dataset数据集每幅图上的最佳抓取位置得到可靠性阈值，最后可靠性阈值被确定为GThresh＝0.7。抓取可靠性超出该阈值的话可以确定这是合理的抓取位置，如果超过阈值的接触线对有多组我们选择其中得分最高的。
更进一步地，步骤4每个梯度的幅值还有梯度的方向的具体步骤如下：
对深度图像计算完梯度值后，利用下列两个公式计算每个梯度的幅值还有梯度的方向：
更进一步地，步骤7中对接触线的筛选依据以下三个标准:
[1]在同一条接触线的上面深度是相同的，这样末端执行器夹手可以将接触线完全抓到；
[2]每一条接触线都要在接触面上来让末端执行器夹手来进行抓取。专利不允许定性描述
[3]末端执行器在与目标物体接触的时候，接触线深度要小于夹手内部深度。专利不允许定性描述
[4]两个接触线的梯度方向相反；专利不允许定性描述
[5]两条接触线相距的距离不超过抓手最大张开距离；
[6]两个接触线之间包含的区域中最浅点与接触线最浅点的深度差值不超过D。
更进一步地，步骤8中接触线可能组成情况分为以下三种：
[1]两条接触线均为长边，此时两条接触线的长度均大于等于机械手夹板的长度L，此时机械手的抓取为最稳；
[2]两条接触线一条为长边一条为短边，此时一条接触线长度大于等于机械手夹板的长度L；
[3]两条接触线均为短边：此时两条接触线长度均小于夹板长度L。专利不允许定性描述。
更进一步地，步骤8中矩形抓取框内最浅点与接触线的最浅点之间的差值越大，夹手在抓取时越能更好地贴合物体，更稳定地抓取物体。
更进一步地，步骤9中建立以下公式用于评估一对接触线的抓取可靠性：
其中，l1是夹手与物体左边接触总深度，l2是夹手与物体右边接触总深度，L是夹手长度，e是自然常数用来评估接触线长度，评估两条接触线的长度比，lmax表示接触线当中最长的那条，lmax表示接触线中长的那条，lmin代表短的那条，用来评估接触线贴合手爪的程度，dl是接触线的最浅点，ds是矩形轮廓中的最浅点，sinθ被用以评价两个接触线的错开程度，θ是两个接触线各自一点所连的线与接触线的锐角大小。
附图说明
图1为三菱机器人RV-4F-1D-S11末端执行器模型以及抓取模型示意图；
图2为本发明中对深度图像进行二维卷积来进行深度图像当中梯度的计算所设计的x方向与y方向的两个卷积核；
图3为深度图像计算出的所有梯度方向的排列直方图；
图4为四种接触线对组合情况的示意图；
图5为本发明流程图
图6为利用本发明的实践图
图7为利用本发明的实践图
具体实施方式
利用本发明编写的程序来对长方盒来进行最佳接触线检测
利用本发明编写的程序来对镊子来进行最佳接触线检测
表1为使用本发明并利用机器人平行板夹具去夹取目标物体实验结果；
其中L表示手抓的宽度，D代表手爪的内部深度，W代表了手抓的张开大小。同时l1,l2分别表示两个平板夹具两个接触线的长度，n1、n2分贝表示两个接触线处的法向量，Wobj表示所抓取目标物体沿着抓取方向的宽度。
表1
目标物体 成功率 平均时间
长方盒 25/25 3.016s
镊子 25/25 3.125s
胶带 23/25 3.248s
盆 20/25 3.331s
总计 94﹪ 3.180s

Claims (5)

1.机器人平行板夹具与目标物体之间最佳接触线检测方法，其特征在于，包括以下步骤：
(1)获取目标物体深度图像；
(2)遍历对深度图像的像素来进行卷积滤波；
(3)利用x方向与y方向的两个卷积核对深度图像进行二维卷积来进行深度图像当中梯度的计算；
(4)计算每个梯度的幅值还有梯度的方向；
(5)将所有梯度方向借助直方图进行排列和统计并选取单个bin之中数量最多的5个角度作为物体的主要方向角度，在这里每5度划为一个bin；
(6)使用八邻域对梯度图像的轮廓线进行跟踪，最后确定好轮廓线的长度；
(7)确定好轮廓线之后寻找深度图像对应的的像素位置计算深度，同时将该轮廓线的浅点作为基础，如果轮廓上的某个点与该点的深度差值超出根据实际末端执行器抓手的内部深度D,把这个D设为阈值DThresh,那么把该点从轮廓线当中去除，同时根据三个标准来对接触线进行筛选；
(8)对所有接触线组合情况各自的抓取稳定性进行分析；
(9)计算出所有接触线对的抓取可靠度得分并从中选取最高分数的抓取接触线对作为抓取的位置；
(10)根据Cornell grasping dataset数据集每幅图上的最佳抓取位置得到可靠性阈值，最后可靠性阈值被确定为GThresh＝0.7；抓取可靠性超出该阈值的话确定这是合理的抓取位置，如果超过阈值的接触线对有多组选择其中得分最高的。
2.根据权利要求1所述的机器人平行板夹具与目标物体之间最佳接触线检测方法，其特征在于，所述步骤4包括：
1)对深度图像计算完梯度值后，利用下列两个公式计算每个梯度的幅值还有梯度的方向：
3.根据权利要求1所述的机器人平行板夹具与目标物体之间最佳接触线检测方法，其特征在于，所述步骤7中对接触线的筛选依据以下标准：
[1]在同一条接触线的上面深度是相同的，这样末端执行器夹手将接触线完全抓到；
[2]每一条接触线都要在接触面上来让末端执行器夹手来进行抓取；
[3]末端执行器在与目标物体接触的时候，接触线深度要小于夹手内部深度；
[4]两个接触线的梯度方向相反；
[5]两条接触线相距的距离不超过抓手最大张开距离；
[6]两个接触线之间包含的区域中最浅点与接触线最浅点的深度差值不超过D。
4.根据权利要求1所述的机器人平行板夹具与目标物体之间最佳接触线检测方法，其特征在于，所述步骤8中接触线组成情况为以下三种之一：
[1]两条接触线均为长边，此时两条接触线的长度均大于等于机械手夹板的长度L，此时机械手的抓取为最稳；
[2]两条接触线一条为长边一条为短边，此时一条接触线长度大于等于机械手夹板的长度L；
[3]两条接触线均为短边：此时两条接触线长度均小于夹板长度L。
5.根据权利要求1所述的机器人平行板夹具与目标物体之间最佳接触线检测方法，其特征在于，所述步骤9中建立以下公式用于评估一对接触线的抓取可靠性：
其中，l1是夹手与物体左边接触总深度，l2是夹手与物体右边接触总深度，L是夹手长度，e是自然常数用来评估接触线长度，评估两条接触线的长度比，lmax表示接触线当中最长的那条，lmax表示接触线中长的那条，lmin代表短的那条，用来评估接触线贴合手爪的程度，dl是接触线的最浅点，ds是矩形轮廓中的最浅点，sinθ被用以评价两个接触线的错开程度，θ是两个接触线各自一点所连的线与接触线的锐角大小。
CN201910403247.0A 2019-05-15 2019-05-15 机器人平行板夹具与目标物体之间最佳接触线检测方法 Pending CN110264441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910403247.0A CN110264441A (zh) 2019-05-15 2019-05-15 机器人平行板夹具与目标物体之间最佳接触线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403247.0A CN110264441A (zh) 2019-05-15 2019-05-15 机器人平行板夹具与目标物体之间最佳接触线检测方法

Publications (1)

Publication Number Publication Date
CN110264441A true CN110264441A (zh) 2019-09-20

Family

ID=67913164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403247.0A Pending CN110264441A (zh) 2019-05-15 2019-05-15 机器人平行板夹具与目标物体之间最佳接触线检测方法

Country Status (1)

Country Link
CN (1) CN110264441A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113146636A (zh) * 2021-04-27 2021-07-23 深圳市一诺维奇教育科技有限公司 一种物体抓取方法、装置及柔性机器人

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031541A (ko) * 2012-09-04 2014-03-13 한국철도공사 전차선로 결함 검사시스템
CN108247635A (zh) * 2018-01-15 2018-07-06 北京化工大学 一种深度视觉的机器人抓取物体的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031541A (ko) * 2012-09-04 2014-03-13 한국철도공사 전차선로 결함 검사시스템
CN108247635A (zh) * 2018-01-15 2018-07-06 北京化工大学 一种深度视觉的机器人抓取物体的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王俊义: "基于视觉伺服的机器人抓取关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113146636A (zh) * 2021-04-27 2021-07-23 深圳市一诺维奇教育科技有限公司 一种物体抓取方法、装置及柔性机器人

Similar Documents

Publication Publication Date Title
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN108247635B (zh) 一种深度视觉的机器人抓取物体的方法
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN112136505A (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
Hannan et al. A real-time machine vision algorithm for robotic citrus harvesting
CN111844101A (zh) 一种多指灵巧手分拣规划方法
CN111932490B (zh) 一种用于工业机器人的视觉系统抓取信息提取方法
CN113500017A (zh) 一种面向非结构化场景下物料分拣的智能系统和方法
CN110378325A (zh) 一种机器人抓取过程中的目标位姿识别方法
CN108772840A (zh) 一种基于计算机视觉和机器学习的自适应分拣系统及方法
CN110264441A (zh) 机器人平行板夹具与目标物体之间最佳接触线检测方法
CN113021391A (zh) 一种集成视觉机器人夹爪及其使用方法
CN113420746A (zh) 机器人视觉分拣方法、装置、电子设备和存储介质
CN113744247A (zh) 一种pcb焊点缺陷识别方法和系统
Chelouati et al. Lobster detection using an Embedded 2D Vision System with a FANUC industrual robot
CN117036470A (zh) 一种抓取机器人的物体识别与位姿估计方法
CN111325795B (zh) 一种图像处理方法、装置、存储介质及机器人
CN113034526A (zh) 一种抓取方法、抓取装置及机器人
CN114241286B (zh) 对象的抓取方法、装置、存储介质及电子装置
JP2020041862A (ja) 帯状物の３次元計測方法および帯状物の３次元計測装置
CN208179531U (zh) 一种基于图像识别的智能传送带式机械臂系统
CN113936276A (zh) 一种基于深度学习的物体姿态识别抓取的搬运机器人方法
CN114788455A (zh) 一种基于目标检测的串番茄单粒采摘方法及系统
CN113674233B (zh) 基于人工智能的木材优选锯视觉检测方法
CN110688886A (zh) 一种基于机器视觉的嫁接夹姿态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920