CN108182689A - 应用于机器人搬运打磨领域的板状工件三维识别定位方法 - Google Patents
应用于机器人搬运打磨领域的板状工件三维识别定位方法 Download PDFInfo
- Publication number
- CN108182689A CN108182689A CN201611120329.7A CN201611120329A CN108182689A CN 108182689 A CN108182689 A CN 108182689A CN 201611120329 A CN201611120329 A CN 201611120329A CN 108182689 A CN108182689 A CN 108182689A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- point
- robot
- point cloud
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005498 polishing Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013439 planning Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 238000013499 data model Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明涉及应用于机器人搬运打磨领域的板状工件三维识别定位方法,在机器人末端设置结构光传感器,通过光传感器实时采集图像进行工件的三维识别定位;本发明包括以下几个部分:1、点云的获取和数据预处理;2、模板制作和路径规划;3、实时检测。本发明应用于机器人搬运打磨领域,提供了工件从上料到打磨直至分类下料整个过程中所用到的工件数据模型,为实现机器人全自动化作业提供了感知功能。
Description
技术领域
本发明属于计算机视觉领域,具体的说涉及一种基于点云的目标识别定位算法。
背景技术
随着科学技术的发展和工业自动化水平的不断提高,机器人在各个行业中得到了广泛的应用,机器人作为工业生产系统中的一个标准部件,通过网络或者工业总线将生产线上各种设备的控制系统有效连接,形成一个综合控制系统,已成为现代生产装备的发展趋势。传统机器人工作是以“示教——再现”的方式进行,即先由操作人员引导机器人进行示教,或通过离线软件编程的方式进行示教,然后再由机器人再现示教内容。这种方式通常利用机械工具将作业目标重复的固定在示教时的位置和姿态,从而达到对目标定位的目的。这种作业目标的机械定位方式存在诸多缺点:(1)需要专门的夹具,必需随着作业目标的改变而变化;(2)接触式定位,易损伤作业目标;(3)适用的作业目标具有一定的局限性,比如很难用于柔性目标;(4)定位过程耗时长等等。
视觉定位是一种基于计算机视觉的非接触式定位技术,该技术的一般性原理是首先通过视觉传感器获取目标在空间中的信息;然后通过一系列算法识别目标并计算出目标在空间中的位置和姿态;进而结合离线标定模型计算出目标在机器人坐标系下的位置和姿态;最后通过闭环控制,引导机器人进行轨迹修整,完成预定作业。相比机械定位,视觉定位技术具有诸多优点:(1)柔性好,适用于多种作业目标;(2)非接触测量,对目标无损伤;(3)可以实时测量,反馈给机器人用于闭环控制等等。因此,视觉定位是机器人的一项关键单元技术,在机器人应用中具有举足轻重的地位。
本发明正是通过视觉传感器获取目标的三维点云信息,从而实现对大型板状工件的三维识别定位的一种方法,应用于机器人搬运打磨领域,为搬运打磨整套系统提供数据支撑。相比于已有的三维识别定位算法,该发明不仅可以高效准确的提供目标在三维空间中的信息,而且能够自动规划出机器人的打磨行走路径,在整个搬运打磨系统中是至关重要的一环。多年来,中国科学院沈阳自动化所结合实际工程应用背景,在光电信息处理和机器人智能制造领域,取得了一系列研究成果。本发明是在已有的科研成果基础上,大胆创新,经过反复验证,提出了一种全新的板状工件三维识别定位算法,在实际的工业生产中,具有重要意义。
发明内容
一种应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于能够将在料箱中摆放的多垛大型板状工件逐一识别定位,计算出工件在三维坐标下4个自由度(x、y、z和Rz)的位置和姿态,建立工件的数据模型,为后续打磨等机器人操作规划路径,从而引导机器人以相应的位姿进行识别抓取和分类,根据规划的路径对工件进行打磨。
本发明为实现上述目的所采用的技术方案是:
应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于:在机器人末端设置结构光传感器,通过光传感器实时采集图像进行工件的三维识别定位;包括以下步骤:
点云的获取和数据预处理:通过控制机械手带动结构光传感器在不同类型的工件上逐行扫描,将结构光传感器获取的多行三维数据进行拼接,形成工件的点云数据;
模板制作和路径规划:每个类型选取一个工件的点云数据作为该型号工件的模型,通过扫描得到该工件的模板点云数据,用模板点云数据创建模板,该模板包括唯一描述该型号工件的模型信息。
实时检测:通过控制机械手带动结构光传感器扫描得到待测工件的点云数据,通过模板匹配得出待测工件信息,包括型号、位姿、打磨路径,将待测工件信息组成工件的实时场景模型信息发送给机器人,用于引导机器人抓取。
所述点云的获取和数据预处理包括以下步骤:
点云的获取:将结构光传感器固定于机器人手臂末端,根据传感器坐标系与机器人用户坐标系之间的转换关系,将传感器采集到的行扫描工件数据转换成机器人用户坐标系下的行点云数据;
数据预处理:将结构光传感器在工件上逐行扫描获取的行点云数据根据y坐标进行拼接,形成以机器人用户坐标系为基准的工件点云数据;对将其规范为等采样间隔的工件点云数据。
所述模板制作和路径规划包括以下步骤:
在每个类型的工件选取一个工件点云数据中作为该型号工件的模板点云数据,向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系;
创建深度图像的金字塔,对每层金字塔利用canny算子提取深度图像边缘轮廓点,去除轮廓点上的噪声,计算边缘点上每个点的梯度方向;根据边缘点得到目标的形心及离散角度步长与尺度步长,并依据这些信息对轮廓点进行旋转与尺度变换获得工件轮廓模板;
在深度图像边缘轮廓点上,示教机器人行走边缘上的点,在邻近示教点设定距离内选取机器人运动的点,形成机器人运动路径;将得到的路径反向映射到点云的三维空间中形成三维路径。
所述创建深度图像的金字塔通过下式实现:
由若干个临近的像素的像素值计算均值构成金字塔上一层对应位置的像素值,表达式如下:
式中,Il m(x,y)表示金字塔第l层深度图像中(x,y)像素点处的灰度值。
所述根据边缘点得到目标的形心及离散角度步长与尺度步长包括以下步骤:
形心(ox,oy)即为轮廓点的中心,其表达式如下:
式中,n为轮廓点数目,(xi,yi)为轮廓点像素坐标;
离散角度步长Δθ表达式如下:
式中,ε为最大允许距离,rmax为轮廓点与形心之间最大距离;
尺度步长表达式如下:
式中,Δsx、Δsy分别为第l层金字塔x、y方向上的尺度步长,(x,,y,)为距离形心最远的像素点坐标,θ为旋转角度即离散角度步长。
所述对轮廓点进行旋转与尺度变换获得工件轮廓模板包括以下步骤:
对于轮廓像素点坐标(xi,yi),旋转角度为θ,x、y方向的尺度变换因子分为sx、sy时,旋转与尺度变换后的工件轮廓像素点坐标(xi,,yi,)为:
所述实时检测包括以下步骤:
将实时采集得到的待测工件点云数据向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系;
创建深度图像的金字塔,对每层金字塔利用sobel算子提取边缘,并计算各层金字塔边缘所有点的梯度和方向,得到实时图像轮廓点;依次将各工件轮廓模板与实时图像的轮廓点进行比较,找到与实时图像轮廓点最相似的工件轮廓模板,确定工件类型,计算工件轮廓模板位姿与实时深度图像中目标位姿的偏差,根据偏差得到实时深度图像中目标的形心和姿态;
将实时深度图像中目标的形心和姿态映射到三维空间中,将实时深度图像对应的待测工件信息包括型号、位姿、打磨路径组成工件的实时场景模型信息发送给机器人,用于引导机器人抓取。
所述找到与实时图像轮廓点最相似的模板包括以下步骤:
定义匹配分值:工件轮廓模板的轮廓像素点坐标为其梯度向量为ti、ui分别为x方向、y方向的梯度;实时图像轮廓像素点坐标为(x,y),其梯度向量为ds(x,y)=(v(x,y),w(x,y))T;v(x,y),w(x,y)分别为x方向、y方向的梯度;
对于实时图像(x,y)位置处,匹配分值s(x,y)的表达式如下:
选择匹配分值最大的工件轮廓模板。
本发明具有以下有益效果和优点:
1.本发明可以在料箱中交叉放置的多垛不同形状的工件分别进行三维空间的识别定位。
2.在对工件识别定位的同时,自动规划机器人打磨行走路径。计算出工件边缘是由多少条边构成,每条边是圆弧还是直线或者其他不规则线段,将这些边按照一定规则进行排序,分别给出每条边所对应的打磨路径。
3.在对工件定位的同时,识别出工件型号,引导机器人根据所属型号在打磨完成后,对工件进行分类放置。
附图说明
图1为搬运打磨系统框图;
图2为点云获取原理图;
图3为创建模板流程图;
图4为深度图像金字塔示意图;
图5为形心及尺度步长计算示意图;
图6为角度步长计算示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示,本发明面向实际工程应用,采用建立三维数据模型,自动规划路径等技术手段,提出了一种应用于机器人搬运打磨领域的板状工件三维识别定位方法,不仅可以在复杂的场景中对多个待测目标逐一识别,并能够计算出目标在三维空间中的位姿,还能够规划出机器人对目标的打磨路径,引导机器人在对目标目标打磨完成后进行分类。该方法提供了机器人搬运打磨分类过程中的所需的必要信息,实现了机器人搬运打磨过程中的全自动化作业,能够适应工业现场复杂多变的环境。
本发明包括以下几个部分:1、点云的获取和数据预处理;2、模板制作和路径规划;3、实时检测。本发明应用于机器人搬运打磨领域,提供了工件从上料到打磨直至分类下料整个过程中所用到的工件数据模型,为实现机器人全自动化作业提供了感知功能。
点云的获取和数据预处理。点云数据获取采用结构光三角测量原理,所用的结构光传感器为线结构光传感器(下简称为传感器),将结构光传感器固定于机器人机械手末端,通过机械手末端在料框上匀速运动,带动传感器在料框中摆放的多垛板状工件上方扫描,将机械手在不同位置上传感器获取的三维数据进行拼接,形成完整的场景点云数据。包括以下步骤:
将传感器固定于机器人手臂末端,对传感器和机器人手臂末端进行标定,标定的目的在于建立传感器坐标系与机器人用户系之前的对应关系,从而将传感器采集到的点云数据转换到机器人用户坐标系下。
数据预处理。将传感器在不同位置上获取的点云数据根据y坐标进行拼接,形成以机器人用户坐标系为基准的完整的点云场景数据。对场景点云数据进行重采样和滤波,去除点云噪声并将点云规范为等采样间隔的点云数据。
模板制作和路径规划。通过在各类型号工件中每种工件选取一个作为该型号工件的模型,通过数据扫描得到模板点云数据,用模板点云数据创建模板,该模板可以唯一描述该型号工件的模型信息。包括以下步骤:
将得到的模板点云数据向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系。
创建深度图像的金字塔,对每层金字塔利用canny算子提取深度图边缘轮廓点,去除轮廓点上的噪声,计算边缘点上每个点的梯度方向,根据边缘点计算目标的形心及离散角度步长与尺度步长,并依据这些信息对轮廓点进行旋转与尺度变换获得模板。
在深度图边缘轮廓点上,通过人机交互方式,示教机器人行走路径上的点,在示教点附近搜索最合适机器人运动的点,用这些搜索到的点形成机器人运动路径。
将得到的路径通过模板制作和路径规划步骤一反向映射到点云的三维空间中。
实时检测。扫描得到场景中的数据,通过模板计算出工件的型号、位姿、打磨路径等信息。组成工件的实时场景模型信息发送给机器人,引导机器人将工件抓取、打磨并将不同工件分类放置。包括以下步骤:
将实时采集得到的点云数据向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系。
与模板制作和路径规划中同样方法创建深度图像金字塔,利用sobel算子计算各层金字塔的梯度和方向,对梯度和幅值进行非极大值抑制,最后得到实时图像轮廓点。依次将各个事先做好的模板与实时图像的轮廓点进行比较,找到与实时深度图像轮廓点最相似的模板,确定目标型号,计算模板位姿与实时深度图像中目标位姿的偏差,根据偏差算出实时深度图像中目标的形心和姿态。
将实时深度图像中目标的形心和姿态映射到三维空间中,用工件的型号、位姿、打磨路径等信息组成工件的实时场景模型信息发送给机器人,引导机器人将工件抓取、打磨并将不同工件分类放置。
创建深度图像金字塔,由四个临近的像素的像素值计算均值构成金字塔上一层对应位置的像素值,计算表达式如下:
式中,I(x,y)表示图像中(x,y)像素点处的灰度值,l表示图像金字塔层数。
计算形心及离散角度,尺度和步长。形心(ox,oy)即为轮廓点的中心,其表达式如下:
式中,n为轮廓点数目,(xi,yi)为轮廓点像素坐标。
尺度步长表达式如下:
式中,Δsx、Δsy分别为第l层金字塔x、y方向上的尺度步长,(x,,y,)为距离形心最远的像素点坐标,θ为旋转角度。
角度步长表达式如下:
式中,ε为最大允许距离,rmax为轮廓点与形心之间最大距离,其表达式为:
对于轮廓像素点坐标(xi,yi),旋转角度为θ,x、y方向的尺度变换因子分为sx、sy时,旋转、尺度变换后的轮廓像素点坐标(xi,,yi,)为:
为了找到与实时深度图像轮廓点最相似的模板,定义匹配分值。模板图像的轮廓像素点坐标为其梯度向量为实时图像轮廓像素点坐标为(x,y),其梯度向量为ds(x,y)=(v(x,y),w(x,y))T。对于实时图像(x,y)位置处,匹配分值s(x,y)的表达式如下:
一、点云的获取和数据预处理
点云数据获取采用结构光三角测量原理,原理如图2所示,所用的结构光传感器为线结构光传感器(下简称为传感器),将结构光传感器固定于机器人机械手末端,通过机械手末端在料框上匀速运动,带动传感器在料框中摆放的多垛板状工件上方扫描,将机械手在不同位置上传感器获取的三维数据进行拼接,形成完整的场景点云数据。
步骤一:将传感器固定于机器人手臂末端,对传感器和机器人手臂末端进行标定,标定的方法为在料箱中建立传感器坐标系,将机器人用户坐标系与传感器建立的坐标系重合,标定的目的在于建立传感器坐标系与机器人用户系之前的对应关系,从而将传感器采集到的点云数据转换到机器人用户坐标系下。机器人匀速从料箱上方带动传感器扫描而过,获取每一时刻激光线照射部位的点云数据。
步骤二:数据预处理。将传感器在不同位置上获取的点云数据根据y坐标进行拼接,形成以机器人用户坐标系为基准的完整的点云场景数据。对场景点云数据进行重采样和滤波,去除点云噪声并将点云规范为等采样间隔的点云数据,采集到的点云数据。
二、模板制作和路径规划
步骤一:将得到的模板点云数据向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系。
步骤二:模板制作。模板制作流程如图3所示,主要分为四个部分:
(1)创建深度图像的金字塔,
如图4所示,由四个临近的像素的像素值计算均值构成金字塔上一层对应位置的像素值,计算表达式如下:
式中,I(x,y)表示图像中(x,y)像素点处的灰度值,l表示图像金字塔层数。
(2)对每层金字塔利用canny算子提取深度图边缘轮廓点,去除轮廓点上的噪声。,
(3)计算形心及离散角度、尺度步长。如图5所示,形心(ox,oy)即为轮廓点的中心,其表达式如下:
式中,n为轮廓点数目,(xi,yi)为轮廓点像素坐标。
尺度步长表达式如下:
式中,Δsx、Δsy分别为第l层金字塔x、y方向上的尺度步长,(x,,y,)为距离形心最远的像素点坐标,θ为旋转角度。
如图6所示,角度步长表达式如下:
式中,ε为最大允许距离,rmax为轮廓点与形心之间最大距离,其表达式为:
(4)轮廓点旋转、尺度变换获得模板。对于轮廓像素点坐标(xi,yi),旋转角度为θ,x、y方向的尺度变换因子分为sx、sy时,旋转、尺度变换后的轮廓像素点坐标(x’i,y’i)为:
步骤三:在深度图边缘轮廓点上,通过人机交互方式,示教机器人行走路径上的点,在示教点附近搜索最合适机器人运动的点,用这些搜索到的点形成机器人运动路径。
步骤四:将得到的路径通过模板制作和路径规划步骤一反向映射到点云的三维空间中。
三、实时检测
步骤一:将实时采集得到的点云数据向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系。
步骤二:创建深度图像金字塔,方法如制作模板步骤二所示,利用sobel算子计算各层金字塔的梯度和方向,得到实时图像轮廓点。依次将各个事先做好的模板与实时图像的轮廓点进行比较,找到与实时深度图像轮廓点最相似的模板,采用匹配分值判定目标与模板的相似性,匹配分值的计算方法为:
假设模板图像的轮廓像素点坐标为其梯度向量为实时图像轮廓像素点坐标为(x,y),其梯度向量为ds(x,y)=(v(x,y),w(x,y))T。对于实时图像(x,y)位置处,匹配分值s(x,y)的表达式如下:
根据匹配到的模板确定目标型号,计算模板位姿与实时深度图像中目标位姿的偏差,根据偏差算出实时深度图像中目标的形心和姿态。
步骤三:将实时深度图像中目标的形心和姿态映射到三维空间中,用工件的型号、位姿、打磨路径等信息组成工件的实时场景模型信息发送给机器人,引导机器人将工件抓取、打磨并将不同工件分类放置。
Claims (8)
1.应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于:在机器人末端设置结构光传感器,通过光传感器实时采集图像进行工件的三维识别定位;包括以下步骤:
点云的获取和数据预处理:通过控制机械手带动结构光传感器在不同类型的工件上逐行扫描,将结构光传感器获取的多行三维数据进行拼接,形成工件的点云数据;
模板制作和路径规划:每个类型选取一个工件的点云数据作为该型号工件的模型,通过扫描得到该工件的模板点云数据,用模板点云数据创建模板,该模板包括唯一描述该型号工件的模型信息。
实时检测:通过控制机械手带动结构光传感器扫描得到待测工件的点云数据,通过模板匹配得出待测工件信息,包括型号、位姿、打磨路径,将待测工件信息组成工件的实时场景模型信息发送给机器人,用于引导机器人抓取。
2.根据权利要求1所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述点云的获取和数据预处理包括以下步骤:
点云的获取:将结构光传感器固定于机器人手臂末端,根据传感器坐标系与机器人用户坐标系之间的转换关系,将传感器采集到的行扫描工件数据转换成机器人用户坐标系下的行点云数据;
数据预处理:将结构光传感器在工件上逐行扫描获取的行点云数据根据y坐标进行拼接,形成以机器人用户坐标系为基准的工件点云数据;对将其规范为等采样间隔的工件点云数据。
3.根据权利要求1所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述模板制作和路径规划包括以下步骤:
在每个类型的工件选取一个工件点云数据中作为该型号工件的模板点云数据,向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系;
创建深度图像的金字塔,对每层金字塔利用canny算子提取深度图像边缘轮廓点,去除轮廓点上的噪声,计算边缘点上每个点的梯度方向;根据边缘点得到目标的形心及离散角度步长与尺度步长,并依据这些信息对轮廓点进行旋转与尺度变换获得工件轮廓模板;
在深度图像边缘轮廓点上,示教机器人行走边缘上的点,在邻近示教点设定距离内选取机器人运动的点,形成机器人运动路径;将得到的路径反向映射到点云的三维空间中形成三维路径。
4.根据权利要求3所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述创建深度图像的金字塔通过下式实现:
由若干个临近的像素的像素值计算均值构成金字塔上一层对应位置的像素值,表达式如下:
式中,Il m(x,y)表示金字塔第l层深度图像中(x,y)像素点处的灰度值。
5.根据权利要求3所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述根据边缘点得到目标的形心及离散角度步长与尺度步长包括以下步骤:
形心(ox,oy)即为轮廓点的中心,其表达式如下:
式中,n为轮廓点数目,(xi,yi)为轮廓点像素坐标;
离散角度步长Δθ表达式如下:
式中,ε为最大允许距离,rmax为轮廓点与形心之间最大距离;
尺度步长表达式如下:
式中,Δsx、Δsy分别为第l层金字塔x、y方向上的尺度步长,(x,,y,)为距离形心最远的像素点坐标,θ为旋转角度即离散角度步长。
6.根据权利要求3所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述对轮廓点进行旋转与尺度变换获得工件轮廓模板包括以下步骤:
对于轮廓像素点坐标(xi,yi),旋转角度为θ,x、y方向的尺度变换因子分为sx、sy时,旋转与尺度变换后的工件轮廓像素点坐标(xi,,yi,)为:
7.根据权利要求1所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述实时检测包括以下步骤:
将实时采集得到的待测工件点云数据向坐标系x轴和y轴组成的平面做投影,设定Z方向上的有效检测范围,将有效范围内的Z值对应于z∈[0,255]之间,创建点云的深度图像,建立点云三维空间和点云深度图之间一一对应的映射关系;
创建深度图像的金字塔,对每层金字塔利用sobel算子提取边缘,并计算各层金字塔边缘所有点的梯度和方向,得到实时图像轮廓点;依次将各工件轮廓模板与实时图像的轮廓点进行比较,找到与实时图像轮廓点最相似的工件轮廓模板,确定工件类型,计算工件轮廓模板位姿与实时深度图像中目标位姿的偏差,根据偏差得到实时深度图像中目标的形心和姿态;
将实时深度图像中目标的形心和姿态映射到三维空间中,将实时深度图像对应的待测工件信息包括型号、位姿、打磨路径组成工件的实时场景模型信息发送给机器人,用于引导机器人抓取。
8.根据权利要求7所述的应用于机器人搬运打磨领域的板状工件三维识别定位方法,其特征在于所述找到与实时图像轮廓点最相似的模板包括以下步骤:
定义匹配分值:工件轮廓模板的轮廓像素点坐标为其梯度向量为ti、ui分别为x方向、y方向的梯度;实时图像轮廓像素点坐标为(x,y),其梯度向量为ds(x,y)=(v(x,y),w(x,y))T;v(x,y),w(x,y)分别为x方向、y方向的梯度;
对于实时图像(x,y)位置处,匹配分值s(x,y)的表达式如下:
选择匹配分值最大的工件轮廓模板。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611120329.7A CN108182689B (zh) | 2016-12-08 | 2016-12-08 | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611120329.7A CN108182689B (zh) | 2016-12-08 | 2016-12-08 | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108182689A true CN108182689A (zh) | 2018-06-19 |
CN108182689B CN108182689B (zh) | 2021-06-22 |
Family
ID=62544720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611120329.7A Active CN108182689B (zh) | 2016-12-08 | 2016-12-08 | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108182689B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033989A (zh) * | 2018-07-02 | 2018-12-18 | 深圳辰视智能科技有限公司 | 基于三维点云的目标识别方法、装置及存储介质 |
CN109509182A (zh) * | 2018-10-29 | 2019-03-22 | 首都航天机械有限公司 | 一种基于图像处理的典型产品几何尺寸测量方法及系统 |
CN109816730A (zh) * | 2018-12-20 | 2019-05-28 | 先临三维科技股份有限公司 | 工件抓取方法、装置、计算机设备和存储介质 |
CN110222703A (zh) * | 2019-06-12 | 2019-09-10 | 江苏通佑视觉科技有限公司 | 图像轮廓识别方法、装置、设备和介质 |
CN110263204A (zh) * | 2019-06-05 | 2019-09-20 | 广州文冲船厂有限责任公司 | 一种构件轮廓编码方法、装置和设备 |
CN110434679A (zh) * | 2019-07-25 | 2019-11-12 | 王东 | 一种针对带有随机尺寸误差的工件的智能加工方法 |
CN110993089A (zh) * | 2019-12-05 | 2020-04-10 | 中科尚易健康科技(北京)有限公司 | 一种利用三维扫描引导经络的方法 |
CN111055293A (zh) * | 2019-11-21 | 2020-04-24 | 东南大学 | 一种基于曲面自适应的工业机器人高精度恒力打磨方法 |
CN111369625A (zh) * | 2020-03-02 | 2020-07-03 | 广东利元亨智能装备股份有限公司 | 定位方法、装置和存储介质 |
CN111540012A (zh) * | 2020-04-15 | 2020-08-14 | 中国科学院沈阳自动化研究所 | 一种基于机器视觉的光照鲁棒的平面上物体识别定位方法 |
CN111598901A (zh) * | 2020-05-19 | 2020-08-28 | 南京佳和牙科技术有限公司 | 基于深度图像的牙科修复制品的加工进度的估算方法 |
CN111858981A (zh) * | 2019-04-30 | 2020-10-30 | 富泰华工业(深圳)有限公司 | 图档搜索方法、装置及计算机可读存储介质 |
CN112318226A (zh) * | 2020-11-02 | 2021-02-05 | 芜湖哈特机器人产业技术研究院有限公司 | 圆形工件表面打磨方法 |
CN112729112A (zh) * | 2020-12-24 | 2021-04-30 | 扬州大学 | 基于机器人视觉的发动机缸体孔径与孔位检测方法 |
CN112989095A (zh) * | 2021-02-09 | 2021-06-18 | 沈阳风驰软件股份有限公司 | 工件模板图库的生成方法、三维位姿检测方法和检测系统 |
CN113344769A (zh) * | 2021-04-20 | 2021-09-03 | 梅卡曼德(北京)机器人科技有限公司 | 基于机器视觉的物品3d图像信息获取方法、装置、介质 |
CN113506211A (zh) * | 2021-09-10 | 2021-10-15 | 深圳市信润富联数字科技有限公司 | 轮毂肋窗的打磨方法、装置、终端设备以及存储介质 |
CN113905856A (zh) * | 2020-03-09 | 2022-01-07 | 凌威新科技有限公司 | 信息处理方法、信息处理系统及程序 |
CN114049355A (zh) * | 2022-01-14 | 2022-02-15 | 杭州灵西机器人智能科技有限公司 | 一种散乱工件的识别标注方法、系统和装置 |
CN108942940B (zh) * | 2018-08-01 | 2022-02-22 | 东南大学 | 一种基于多传感器融合的遥操作机器人打磨控制系统 |
CN115655102A (zh) * | 2022-10-10 | 2023-01-31 | 广州里工实业有限公司 | 一种搭载尺寸测量系统的自主机器人及工件测量方法 |
CN117422763A (zh) * | 2023-12-19 | 2024-01-19 | 商飞智能技术有限公司 | 一种模具表面打磨区域定位及打磨轨迹规划方法、装置 |
CN117900918A (zh) * | 2024-03-19 | 2024-04-19 | 中船黄埔文冲船舶有限公司 | 一种打磨规则模板化方法、系统、终端及可读存储介质 |
CN118003339A (zh) * | 2024-04-08 | 2024-05-10 | 广州三拓智能装备有限公司 | 一种基于人工智能的机器人分拣控制算法 |
CN118024034A (zh) * | 2024-04-12 | 2024-05-14 | 烟台艾创机器人科技有限公司 | 一种圆管螺旋焊缝的打磨方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104457566A (zh) * | 2014-11-10 | 2015-03-25 | 西北工业大学 | 一种无须示教机器人系统的空间定位方法 |
-
2016
- 2016-12-08 CN CN201611120329.7A patent/CN108182689B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104457566A (zh) * | 2014-11-10 | 2015-03-25 | 西北工业大学 | 一种无须示教机器人系统的空间定位方法 |
Non-Patent Citations (3)
Title |
---|
CARSTEN STEGER: "Similarity Measures for Occlusion, Clutter, and Illumination Invariant Object Recognition", 《23RD DAGM-SYMPOSIUM》 * |
GUNILLA BORGEFORS: "Hierarchical Chamfer Matching:A Parametric Edge Matching Algorithm", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
T. HODAŇ 等: "Detection and fine 3D pose estimation of texture-less objects in RGB-D images", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033989A (zh) * | 2018-07-02 | 2018-12-18 | 深圳辰视智能科技有限公司 | 基于三维点云的目标识别方法、装置及存储介质 |
CN109033989B (zh) * | 2018-07-02 | 2020-11-24 | 深圳辰视智能科技有限公司 | 基于三维点云的目标识别方法、装置及存储介质 |
CN108942940B (zh) * | 2018-08-01 | 2022-02-22 | 东南大学 | 一种基于多传感器融合的遥操作机器人打磨控制系统 |
CN109509182A (zh) * | 2018-10-29 | 2019-03-22 | 首都航天机械有限公司 | 一种基于图像处理的典型产品几何尺寸测量方法及系统 |
CN109509182B (zh) * | 2018-10-29 | 2021-03-26 | 首都航天机械有限公司 | 一种基于图像处理的典型产品几何尺寸测量方法及系统 |
CN109816730A (zh) * | 2018-12-20 | 2019-05-28 | 先临三维科技股份有限公司 | 工件抓取方法、装置、计算机设备和存储介质 |
CN109816730B (zh) * | 2018-12-20 | 2021-08-17 | 先临三维科技股份有限公司 | 工件抓取方法、装置、计算机设备和存储介质 |
CN111858981A (zh) * | 2019-04-30 | 2020-10-30 | 富泰华工业(深圳)有限公司 | 图档搜索方法、装置及计算机可读存储介质 |
CN110263204A (zh) * | 2019-06-05 | 2019-09-20 | 广州文冲船厂有限责任公司 | 一种构件轮廓编码方法、装置和设备 |
CN110222703B (zh) * | 2019-06-12 | 2023-07-11 | 江苏通佑视觉科技有限公司 | 图像轮廓识别方法、装置、设备和介质 |
CN110222703A (zh) * | 2019-06-12 | 2019-09-10 | 江苏通佑视觉科技有限公司 | 图像轮廓识别方法、装置、设备和介质 |
CN110434679B (zh) * | 2019-07-25 | 2020-12-04 | 王东 | 一种针对带有随机尺寸误差的工件的智能加工方法 |
CN110434679A (zh) * | 2019-07-25 | 2019-11-12 | 王东 | 一种针对带有随机尺寸误差的工件的智能加工方法 |
CN111055293A (zh) * | 2019-11-21 | 2020-04-24 | 东南大学 | 一种基于曲面自适应的工业机器人高精度恒力打磨方法 |
CN110993089A (zh) * | 2019-12-05 | 2020-04-10 | 中科尚易健康科技(北京)有限公司 | 一种利用三维扫描引导经络的方法 |
CN111369625A (zh) * | 2020-03-02 | 2020-07-03 | 广东利元亨智能装备股份有限公司 | 定位方法、装置和存储介质 |
CN111369625B (zh) * | 2020-03-02 | 2021-04-13 | 广东利元亨智能装备股份有限公司 | 定位方法、装置和存储介质 |
CN113905856A (zh) * | 2020-03-09 | 2022-01-07 | 凌威新科技有限公司 | 信息处理方法、信息处理系统及程序 |
CN111540012A (zh) * | 2020-04-15 | 2020-08-14 | 中国科学院沈阳自动化研究所 | 一种基于机器视觉的光照鲁棒的平面上物体识别定位方法 |
CN111540012B (zh) * | 2020-04-15 | 2023-08-04 | 中国科学院沈阳自动化研究所 | 一种基于机器视觉的光照鲁棒的平面上物体识别定位方法 |
CN111598901A (zh) * | 2020-05-19 | 2020-08-28 | 南京佳和牙科技术有限公司 | 基于深度图像的牙科修复制品的加工进度的估算方法 |
CN112318226A (zh) * | 2020-11-02 | 2021-02-05 | 芜湖哈特机器人产业技术研究院有限公司 | 圆形工件表面打磨方法 |
CN112729112A (zh) * | 2020-12-24 | 2021-04-30 | 扬州大学 | 基于机器人视觉的发动机缸体孔径与孔位检测方法 |
CN112729112B (zh) * | 2020-12-24 | 2022-05-31 | 扬州大学 | 基于机器人视觉的发动机缸体孔径与孔位检测方法 |
CN112989095A (zh) * | 2021-02-09 | 2021-06-18 | 沈阳风驰软件股份有限公司 | 工件模板图库的生成方法、三维位姿检测方法和检测系统 |
CN113344769A (zh) * | 2021-04-20 | 2021-09-03 | 梅卡曼德(北京)机器人科技有限公司 | 基于机器视觉的物品3d图像信息获取方法、装置、介质 |
CN113506211A (zh) * | 2021-09-10 | 2021-10-15 | 深圳市信润富联数字科技有限公司 | 轮毂肋窗的打磨方法、装置、终端设备以及存储介质 |
CN114049355A (zh) * | 2022-01-14 | 2022-02-15 | 杭州灵西机器人智能科技有限公司 | 一种散乱工件的识别标注方法、系统和装置 |
CN115655102A (zh) * | 2022-10-10 | 2023-01-31 | 广州里工实业有限公司 | 一种搭载尺寸测量系统的自主机器人及工件测量方法 |
CN117422763A (zh) * | 2023-12-19 | 2024-01-19 | 商飞智能技术有限公司 | 一种模具表面打磨区域定位及打磨轨迹规划方法、装置 |
CN117422763B (zh) * | 2023-12-19 | 2024-05-31 | 商飞智能技术有限公司 | 一种模具表面打磨区域定位及打磨轨迹规划方法、装置 |
CN117900918A (zh) * | 2024-03-19 | 2024-04-19 | 中船黄埔文冲船舶有限公司 | 一种打磨规则模板化方法、系统、终端及可读存储介质 |
CN118003339A (zh) * | 2024-04-08 | 2024-05-10 | 广州三拓智能装备有限公司 | 一种基于人工智能的机器人分拣控制算法 |
CN118003339B (zh) * | 2024-04-08 | 2024-06-07 | 广州三拓智能装备有限公司 | 一种基于人工智能的机器人分拣控制算法 |
CN118024034A (zh) * | 2024-04-12 | 2024-05-14 | 烟台艾创机器人科技有限公司 | 一种圆管螺旋焊缝的打磨方法 |
CN118024034B (zh) * | 2024-04-12 | 2024-06-25 | 烟台艾创机器人科技有限公司 | 一种圆管螺旋焊缝的打磨方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108182689B (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108182689A (zh) | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 | |
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
CN109629122B (zh) | 一种基于机器视觉的机器人缝制方法 | |
CN112238304B (zh) | 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法 | |
CN110509300A (zh) | 基于三维视觉引导的钢箍加工上料控制系统及控制方法 | |
CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取系统 | |
CN111462154A (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
CN109955249A (zh) | 机械手臂自动加工系统及其方法 | |
JP6740288B2 (ja) | 物体検査装置、物体検査システム、及び検査位置を調整する方法 | |
CN113276106A (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
CN108917593A (zh) | 一种基于待测工件基元组态的智能测量系统及方法 | |
CN109081026A (zh) | 基于激光测距雷达定位引导的机器人拆垛系统及方法 | |
KR102634535B1 (ko) | 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법 | |
CN104976950B (zh) | 物件空间信息量测装置与方法及取像路径的计算方法 | |
WO2019059343A1 (ja) | ワーク情報処理装置およびワークの認識方法 | |
Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
WO2020133888A1 (zh) | 一种三维图像的尺度不变深度图映射方法 | |
CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
CN116542914A (zh) | 基于3d点云的焊缝提取与拟合方法 | |
CN116704017B (zh) | 一种基于视觉混合的机械臂位姿检测方法 | |
CN108180825B (zh) | 一种基于线结构光的长方体形物体三维识别与定位方法 | |
CN210589323U (zh) | 基于三维视觉引导的钢箍加工上料控制系统 | |
CN116958083A (zh) | 基于机器人自适应位姿调整的动车车底螺栓松动检测方法 | |
WO2022163580A1 (ja) | 視覚センサにて取得される3次元の位置情報から断面画像を生成する処理装置および処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |