CN106845354A - 零件视图库构建方法、零件定位抓取方法及装置 - Google Patents

零件视图库构建方法、零件定位抓取方法及装置 Download PDF

Info

Publication number
CN106845354A
CN106845354A CN201611213406.3A CN201611213406A CN106845354A CN 106845354 A CN106845354 A CN 106845354A CN 201611213406 A CN201611213406 A CN 201611213406A CN 106845354 A CN106845354 A CN 106845354A
Authority
CN
China
Prior art keywords
image
captured
partial view
camera
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611213406.3A
Other languages
English (en)
Other versions
CN106845354B (zh
Inventor
赵向
乔红
苏建华
杨爱龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201611213406.3A priority Critical patent/CN106845354B/zh
Publication of CN106845354A publication Critical patent/CN106845354A/zh
Application granted granted Critical
Publication of CN106845354B publication Critical patent/CN106845354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种零件视图库构建方法、零件定位抓取方法及装置。本发明首先绘制零件3D模型,通过构建虚拟的视图球,用虚拟相机环绕虚拟视图球提取零件3D模型不同角度的二维轮廓。通过相似度对图像边缘信息进行分组,进而构建了梯形的零件视图库;基于所述零件视图库,在进行零件抓取前,将待抓取零件的图像与视图库中的图像从顶层到底层,根据相似度逐层匹配,可以迅速地定位到与待抓取零件图像最相似的图像,进而获取对应的位姿坐标;再用最小二乘迭代的方法获取零件的精确位姿坐标。本发明省去了零件定位工装,大大降低了工业生产线上的成本;而且不受生产线上光照不均的影响,能够精确地抓取目标零件,提高了工业机器人工作的效率。

Description

零件视图库构建方法、零件定位抓取方法及装置
技术领域
本发明涉及工业自动化控制领域,具体涉及一种零件视图库构建方法、零件定位抓取方法及装置。
背景技术
目前各种类型的工业机器人应用到零件加工和装配及运输等领域,对于工作在自动化生产线或柔性制造系统上的工业机器人来说,其完成最多的一类操作是“抓取——放置”动作。
现有的技术中,通常要把零件放置到合适的工装里,要求零件的位姿保持不变。每种不同的零件都要制作不同的工装设备,导致成本较高、效率低下。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种零件视图库构建方法、零件定位抓取方法及装置,极大的减少了设备成本,提高了零件抓取的精准度,从而提高了工业机器人的工作效率。
本发明提出一种零件视图库构建方法,包括以下步骤:
步骤A1,绘制零件3D模型;
步骤A2,获取所述零件3D模型不同角度的二维图像;提取所述二维图像的边缘信息,并计算图像间的相似度,根据相似度构建梯形的零件视图库。
优选地,步骤A2具体包括:
步骤A21,绘制一个球体,作为虚拟的视图球,将所述零件3D模型置于球心;
步骤A22,在所述视图球表面均匀地选取拍摄点,用虚拟相机在各拍摄点上拍摄所述零件3D模型的二维图像;
步骤A23,对各二维图像提取边缘信息,并计算图像间的相似度:
其中,pi、qi分别为两张不同二维图像的边缘点的方向向量,n为边缘点的个数;
步骤A24,根据相似度对二维图像边缘信息进行分组,将相似度大于预设阈值Dk且拍摄点位置相邻的图像分入同一组,构建梯形视图库的第k层;
步骤A25,若k小于预设的层数K,则转至步骤A26;否则,构建零件视图库的过程结束;
步骤A26,在第k层各图像分组对应的拍摄区域内均匀选取新的拍摄点,用虚拟相机获取新的二维图像;
步骤A27,对于新的二维图像,进行k次在2*2区域内取平均灰度值的操作,获得分辨率降低的二维图像;k=k+1,转至步骤A23。
优选地,所述虚拟相机放置于球面,并指向球心;将所述零件3D模型的轮廓投影到所述虚拟相机的图像平面上,获得用所述虚拟相机拍摄的二维图像;用地理坐标来记录所述虚拟相机在所述视图球上的对应拍摄点。
优选地,构建梯形零件视图库时,选取的拍摄点个数由底层到顶层逐层递减,在每个拍摄点拍摄一张二维图像。
优选地,梯形零件视图库中,每层包括一个或一个以上不同的图像分组,每个图像分组作为一个节点;其中,每张图像的边缘信息还关联存储了对应拍摄点的地理坐标、对应的下一层节点的序号。所述对应的下一层节点,其相应的拍摄区域中包含该图像的拍摄点。
优选地,对所述零件3D模型进行拍摄时,根据零件在水平面上的各种摆放位姿,在步骤A21所述视图球上,预先设定用地理坐标表示的拍摄范围:[(α1,α2),(β1,β2),d];其中,(α1,α2)为经度范围、(β1,β2)为纬度范围、d为所述视图球的半径。
本发明还提出一种零件定位抓取方法,包括以下步骤:
步骤B1,利用相机在线拍摄零件的二维图像;
步骤B2,采用背景差分法,将待抓取零件的图像从在线拍摄的图像中提取出来;
其中,f(x,y,t)为在t时刻拍摄到的图像的灰度值,为在t时刻提取到的待抓取零件的灰度值,b(x,y)为背景图像的灰度值,T为阈值,若差分值大于T则认为像素点(x,y)是待抓取零件上的像素点;
步骤B3,从步骤B2所得待抓取零件的图像中提取边缘信息;
步骤B4,利用相似度度量公式,将步骤B3所得图像边缘信息与零件视图库中的图像边缘信息进行逐层匹配;根据最底层匹配到的图像所对应的位姿坐标,利用最小二乘迭代的方法,获得待抓取零件的位姿;所述零件视图库基于权利要求1~5中任一项所述方法构建;
步骤B5,控制工业机器人接近待抓取零件,并用手爪进行抓取操作。
优选地,步骤B4具体包括:
步骤B41,k=K,将步骤B3所得图像边缘信息与零件视图库中顶层的二维图像边缘信息进行相似度计算,找到相似度最高的图像,得到该图像所对应的下一层节点的序号m;
步骤B42,k=k-1,将步骤B3所得图像边缘信息与零件视图库第k层中第m个节点上的各图像边缘信息继续进行相似度计算,找到相似度最高的图像;
步骤B43,若k>1,则获取该图像所对应的第k-1层节点的序号m,转至步骤B42,否则,转至步骤B44;
步骤B44,获取第1层中找到的相似度最高的图像所对应的位姿坐标,用最小二乘法进行迭代,得到待抓取零件在相机坐标系中的位姿坐标(x,y,z,θx,θy,θz)。
其中,k为梯形零件的视图库的层序号,由顶层到底层分别为K、K-1、K-2、…、2、1。
优选地,步骤B5具体为:
将待抓取零件在相机坐标系中的位姿坐标换算为世界坐标系中的坐标:
wTowTt tTc cTo
其中:
wTo为待抓取零件在世界坐标系中的坐标,即待抓取零件的抓取点;
wTt为工业机器人工具坐标系在世界坐标系中的坐标,通过向工业机器人读取;
tTc为相机坐标系在工业机器人工具坐标系中的坐标,通过手眼标定获得;
cTo为待抓取零件在相机坐标系中的位姿坐标,通过位姿识别过程获得;
控制机器人手爪按照预设的路径接近待抓取零件,并进行抓取。
优选地,所述相机的内参数与构建视图库时所用的虚拟相机的内参数相等。
优选地,所述相机为单目相机,利用平面标定板,获取相机内参数(f,k,Sx,Sy,Cx,Cy);其中,f为相机焦距,k为相机畸变系数;Sx,Sy为图像传感器在水平和垂直方向上相邻像素之间的距离;Cx,Cy为投影中心在成像平面的垂直投影。
优选地,待抓取零件放置在传送带上。
本发明还提出了一种零件定位抓取装置,包括计算机、控制柜、工业机器人、手爪,以及工业相机;
所述计算机通过网络与工业机器人、控制柜,以及工业相机进行通讯,作为主控制服务器;
所述控制柜,用于接收计算机发来的控制命令,并控制工业机器人执行相应的动作;
所述工业机器人,用于执行控制柜发来的命令;
所述手爪固定在所述工业机器人上,用于抓取放置在平面上的零件;
所述工业相机,固定在工业机器人上或手爪上,用于在线拍摄二维图像。
优选地,所述计算机上装载了图像处理及控制系统。
所述图像处理及控制系统,包括待抓取零件的零件视图库、零件视图库管理模块、零件图像提取模块、零件位姿匹配模块,以及控制模块;
所述零件视图库,基于权利要求1~5中任一项所述方法构建;
所述零件视图库管理模块,用于零件视图库的构建、添加、删除和查询操作;
所述零件图像提取模块,利用差分背景法从在线拍摄的二维图像中提取待抓取零件的图像;
所述零件位姿匹配模块,将待抓取零件的图像与零件视图库中图像进行逐层匹配;并利用最小二乘迭代的方法确定待抓取零件的位姿;
所述控制模块,通过控制柜下达控制命令,控制工业相机进行图像拍摄;根据由所述零件位姿匹配模块确定的待抓取零件的位姿,控制工业机器人移动、控制手爪执行抓取及放置动作。
优选地,所述将待抓取零件的图像与零件视图库中图像进行逐层匹配,具体为:
提取待抓取零件二维图像的边缘信息,与零件视图库中顶层的二维图像边缘信息进行相似度计算,选择相似度最高的图像,定位其所对应的下一层节点,在下一层节点中再选取相似度最高的图像;依此类推,直到零件视图库的底层。
优选地,所述工业相机为单目相机,与构建零件视图库时所用的虚拟相机具有相同的内参数。
优选地,所述计算机通过有线网络与工业机器人、控制柜,以及相机进行通讯。
本发明通过提取零件3D模型的二维轮廓,保证了用于构建视图库的图像本身是清晰可辨的。在视图库中通过相似度对图像边缘信息进行分组,进而构建了梯形的零件视图库;基于所述零件视图库,在进行零件抓取前,将待抓取零件的图像与视图库中的图像从顶层到底层,根据相似度逐层匹配,可以迅速地定位到底层中与待抓取零件图像最相似的图像,进而获取该底层图像对应的位姿坐标;再用最小二乘迭代的方法获取零件的精确位姿坐标。本发明省去了零件定位工装,大大降低了工业生产线上的成本;而且不受生产线上光照不均的影响,能够精确地抓取目标零件,提高了工业机器人工作的效率。
附图说明
图1是本实施例中所述视图球的示意图;
图2是本实施例中构建梯形零件视图库时,选取的拍摄点个数由底层到顶层逐层递减的局部示意图;
图3是本实施例中零件视图库的梯形结构示意图;
图4是本实施例中对所述零件3D模型进行拍摄时,预设的地理坐标范围示意图;
图5是本实施例中零件定位抓取方法流程示意;
图6是本实施例中零件定位抓取装置示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明提出一种零件视图库构建方法,包括以下步骤:
步骤A1,绘制零件3D模型;
步骤A2,获取所述零件3D模型不同角度的二维图像;提取所述二维图像的边缘信息,并计算图像间的相似度,根据相似度构建梯形的零件视图库。
本实施例中,如图1所示,其中,最外面的球体为绘制的虚拟视图球,1表示零件的3D模型,2表示虚拟相机,虚拟相机可以移动到视图球上选定的点并进行拍摄;
步骤A2具体包括:
步骤A21,绘制一个球体,作为虚拟的视图球,将所述零件3D模型置于球心;
步骤A22,在所述视图球表面均匀地选取拍摄点,用虚拟相机在各拍摄点上拍摄所述零件3D模型的二维图像;
步骤A23,对各二维图像提取边缘信息,并计算图像间的相似度,如公式(1)所示:
其中,pi、qi分别为两张不同二维图像的边缘点的方向向量,n为边缘点的个数;
步骤A24,根据相似度对二维图像边缘信息进行分组,将相似度大于预设阈值Dk且拍摄点位置相邻的图像分入同一组,构建梯形视图库的第k层;
步骤A25,若k小于预设的层数K,则转至步骤A26;否则,构建零件视图库的过程结束;
步骤A26,在第k层各图像分组对应的拍摄区域内均匀选取新的拍摄点,用虚拟相机获取新的二维图像;
步骤A27,对于新的二维图像,进行k次在2*2区域内取平均灰度值的操作,获得分辨率降低的二维图像;k=k+1,转至步骤A23。
本实施例中,所述虚拟相机放置于球面,并指向球心;将所述零件3D模型的轮廓投影到所述虚拟相机的图像平面上,获得用所述虚拟相机拍摄的二维图像;用地理坐标来记录所述虚拟相机在所述视图球上的对应拍摄点。
本实施例中,如图2所示,构建梯形零件视图库时,选取的拍摄点个数由底层到顶层逐层递减,在每个拍摄点拍摄一张二维图像。
从图2的局部示意图可以看出,如子图(a)、(b)、(c)、(d)所示,在构建梯形时,选取的拍摄点个数逐层递减。
本实施例中,如图3所示,是一个四层的零件视图库,每个小矩形代表一张二维图像的边缘信息;每层包括一个或一个以上不同的图像分组,每个图像分组作为一个节点;其中,每张图像的边缘信息还关联存储了对应拍摄点的地理坐标、对应的下一层节点的序号。所述对应的下一层节点,其相应的拍摄区域中包含该图像的拍摄点。
图3中第一层(最底层)是从该层对应拍摄点上获取的原始二维投影图像中提取的边缘信息;从第二层的对应拍摄点上获取的原始二维投影图像要经过一次2x2区域内取平均灰度值操作,再提取边缘信息,用来构成梯形的第二层;从第三层的对应拍摄点上获取的原始二维投影图像要经过两次2x2区域内取平均灰度值操作,再提取边缘信息,用来构成梯形的第三层;从第四层(顶层)的对应拍摄点上获取的原始二维投影图像要经过三次2x2区域内取平均灰度值操作,再提取边缘信息,用来构成梯形的第四层;顶层的二维投影图像分辨率最低,但仍然能够清晰地分辨出边缘。
本实施例中,对所述零件3D模型进行拍摄时,根据零件在水平面上的各种摆放位姿,在步骤A21所述视图球上,如图4所示,预先设定用地理坐标表示的拍摄范围:[(α1,α2),(β1,β2),d];其中,(α1,α2)为经度范围、(β1,β2)为纬度范围、d为所述视图球的半径。
本发明还提出一种零件定位抓取方法,如图5所示,包括以下步骤:
步骤B1,利用相机在线拍摄零件的二维图像;
步骤B2,采用背景差分法,将待抓取零件的图像从在线拍摄的图像中提取出来;如公式(2)所示:
其中,f(x,y,t)为在t时刻拍摄到的图像的灰度值,为在t时刻提取到的待抓取零件的灰度值,b(x,y)为背景图像的灰度值,T为阈值,若差分值大于T则认为像素点(x,y)是待抓取零件上的像素点;
步骤B3,从步骤B2所得待抓取零件的图像中提取边缘信息;
步骤B4,利用相似度度量公式,将步骤B3所得图像边缘信息与零件视图库中的图像边缘信息进行逐层匹配;根据最底层匹配到的图像所对应的位姿坐标,利用最小二乘迭代的方法,获得待抓取零件的位姿;所述零件视图库基于权利要求1~5中任一项所述方法构建;
步骤B5,控制工业机器人接近待抓取零件,并用手爪进行抓取操作。
本实施例中,图3中圈出来部分可以用来表示图像逐层匹配的大致过程。步骤B4具体包括:
步骤B41,k=K,将步骤B3所得图像边缘信息与零件视图库中顶层的二维图像边缘信息进行相似度计算,找到相似度最高的图像,得到该图像所对应的下一层节点的序号m;
步骤B42,k=k-1,将步骤B3所得图像边缘信息与零件视图库第k层中第m个节点上的各图像边缘信息继续进行相似度计算,找到相似度最高的图像;
步骤B43,若k>1,则获取该图像所对应的第k-1层节点的序号m,转至步骤B42,否则,转至步骤B44;
步骤B44,获取第1层中找到的相似度最高的图像所对应的位姿坐标,用最小二乘法进行迭代,得到待抓取零件在相机坐标系中的位姿坐标(x,y,z,θx,θy,θz)。
其中,k为梯形零件的视图库的层序号,由顶层到底层分别为K、K-1、K-2、…、2、1。
本实施例中,步骤B5具体为:
将待抓取零件在相机坐标系中的位姿坐标换算为世界坐标系中的坐标,如公式(3)所示:
wTowTt tTc cTo (3)
其中:
wTo为待抓取零件在世界坐标系中的坐标,即待抓取零件的抓取点;
wTt为工业机器人工具坐标系在世界坐标系中的坐标,通过向工业机器人读取;
ttTc为相机坐标系在工业机器人工具坐标系中的坐标,通过手眼标定获得;
cTo为待抓取零件在相机坐标系中的位姿坐标,通过位姿识别过程获得;
控制机器人手爪按照预设的路径接近待抓取零件,并进行抓取。
本实施例中,所述相机的内参数与构建视图库时所用的虚拟相机的内参数相等。
本实施例中,所述相机为单目相机,利用平面标定板,获取相机内参数(f,k,Sx,Sy,Cx,Cy);其中,f为相机焦距,k为相机畸变系数;Sx,Sy为图像传感器在水平和垂直方向上相邻像素之间的距离;Cx,Cy为投影中心在成像平面的垂直投影。
本实施例中,待抓取零件放置在传送带上。
本发明还提出了一种零件定位抓取装置,如图6所示,包括计算机、控制柜、工业机器人、手爪,以及工业相机;
图6中,1表示工业机器人、2表示控制柜、3表示计算机、4表示工业相机、5表示手爪、6表示放置零件的平面(本实施例中为传送带)、7表示零件;
所述计算机通过网络与工业机器人、控制柜,以及工业相机进行通讯,作为主控制服务器;
所述控制柜,用于接收计算机发来的控制命令,并控制工业机器人执行相应的动作;
所述工业机器人,用于执行控制柜发来的命令;
所述手爪固定在所述工业机器人上,用于抓取放置在平面上的零件;手爪的形状可以根据实际需要设计,本实施例中使用的是二指手爪;
所述工业相机,固定在工业机器人上或手爪上,用于在线拍摄二维图像。
本实施例中,所述计算机上装载了图像处理及控制系统。
所述图像处理及控制系统,包括待抓取零件的零件视图库、零件视图库管理模块、零件图像提取模块、零件位姿匹配模块,以及控制模块;
所述零件视图库,基于权利要求1~5中任一项所述方法构建;
所述零件视图库管理模块,用于零件视图库的构建、添加、删除和查询操作;
所述零件图像提取模块,利用差分背景法从在线拍摄的二维图像中提取待抓取零件的图像;
所述零件位姿匹配模块,将待抓取零件的图像与零件视图库中图像进行逐层匹配;并利用最小二乘迭代的方法确定待抓取零件的位姿;
所述控制模块,通过控制柜下达控制命令,控制工业相机进行图像拍摄;根据由所述零件位姿匹配模块确定的待抓取零件的位姿,控制工业机器人移动、控制手爪执行抓取及放置动作。
本实施例中,所述将待抓取零件的图像与零件视图库中图像进行逐层匹配,具体为:
提取待抓取零件二维图像的边缘信息,与零件视图库中顶层的二维图像边缘信息进行相似度计算,选择相似度最高的图像,定位其所对应的下一层节点,在下一层节点中再选取相似度最高的图像;依此类推,直到零件视图库的底层。
本实施例中,所述工业相机为单目相机,与构建零件视图库时所用的虚拟相机具有相同的内参数。
本实施例中,所述计算机通过有线网络与工业机器人、控制柜,以及相机进行通讯。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (17)

1.一种零件视图库构建方法,其特征在于,包括以下步骤:
步骤A1,绘制零件3D模型;
步骤A2,获取所述零件3D模型不同角度的二维图像;提取所述二维图像的边缘信息,并计算图像间的相似度,根据相似度构建梯形的零件视图库。
2.根据权利要求1所述的方法,其特征在于,步骤A2具体包括:
步骤A21,绘制一个球体,作为虚拟的视图球,将所述零件3D模型置于球心;
步骤A22,在所述视图球表面均匀地选取拍摄点,用虚拟相机在各拍摄点上拍摄所述零件3D模型的二维图像;
步骤A23,对各二维图像提取边缘信息,并计算图像间的相似度:
s = 1 n Σ i = 1 n p i T q i | | p i | | · | | q i | | ,
其中,pi、qi分别为两张不同二维图像的边缘点的方向向量,n为边缘点的个数;
步骤A24,根据相似度对二维图像边缘信息进行分组,将相似度大于预设阈值Dk且拍摄点位置相邻的图像分入同一组,构建梯形视图库的第k层;
步骤A25,若k小于预设的层数K,则转至步骤A26;否则,构建零件视图库的过程结束;
步骤A26,在第k层各图像分组对应的拍摄区域内均匀选取新的拍摄点,用虚拟相机获取新的二维图像;
步骤A27,对于新的二维图像,进行k次在2*2区域内取平均灰度值的操作,获得分辨率降低的二维图像;k=k+1,转至步骤A23。
3.根据权利要求2所述的方法,其特征在于,所述虚拟相机放置于球面,并指向球心;将所述零件3D模型的轮廓投影到所述虚拟相机的图像平面上,获得用所述虚拟相机拍摄的二维图像;用地理坐标来记录所述虚拟相机在所述视图球上的对应拍摄点。
4.根据权利要求3所述的方法,其特征在于,构建梯形零件视图库时,选取的拍摄点个数由底层到顶层逐层递减,在每个拍摄点拍摄一张二维图像。
5.根据权利要求4所述的方法,其特征在于,梯形零件视图库中,每层包括一个或一个以上不同的图像分组,每个图像分组作为一个节点;其中,每张图像的边缘信息还关联存储了对应拍摄点的地理坐标、对应的下一层节点的序号;所述对应的下一层节点,其相应的拍摄区域中包含该图像的拍摄点。
6.根据权利要求2~5所述的方法,其特征在于,对所述零件3D模型进行拍摄时,根据零件在水平面上的各种摆放位姿,在步骤A21所述视图球上,预先设定用地理坐标表示的拍摄范围:[(α1,α2),(β1,β2),d];其中,(α1,α2)为经度范围、(β1,β2)为纬度范围、d为所述视图球的半径。
7.一种零件定位抓取方法,其特征在于,包括以下步骤:
步骤B1,利用相机在线拍摄零件的二维图像;
步骤B2,采用背景差分法,将待抓取零件的图像从在线拍摄的图像中提取出来;
d t ( x , y ) 1 | f ( x , y , t ) - b ( x , y ) | > T 0 | f ( x , y , t ) - b ( x , y ) | ≤ T ,
其中,f(x,y,t)为在t时刻拍摄到的图像的灰度值,dt(x,y)为在t时刻提取到的待抓取零件的灰度值,b(x,y)为背景图像的灰度值,T为阈值,若差分值大于T则认为像素点(x,y)是待抓取零件上的像素点;
步骤B3,从步骤B2所得待抓取零件的图像中提取边缘信息;
步骤B4,利用相似度度量公式,将步骤B3所得图像边缘信息与零件视图库中的图像边缘信息进行逐层匹配;根据最底层匹配到的图像所对应的位姿坐标,利用最小二乘迭代的方法,获得待抓取零件的位姿;所述零件视图库基于权利要求1~5中任一项所述方法构建;
步骤B5,控制工业机器人接近待抓取零件,并用手爪进行抓取操作。
8.根据权利要求7所述的方法,其特征在于,步骤B4具体包括:
步骤B41,k=K,将步骤B3所得图像边缘信息与零件视图库中顶层的二维图像边缘信息进行相似度计算,找到相似度最高的图像,得到该图像所对应的下一层节点的序号m;
步骤B42,k=k-1,将步骤B3所得图像边缘信息与零件视图库第k层中第m个节点上的各图像边缘信息继续进行相似度计算,找到相似度最高的图像;
步骤B43,若k>1,则获取该图像所对应的第k-1层节点的序号m,转至步骤B42,否则,转至步骤B44;
步骤B44,获取第1层中找到的相似度最高的图像所对应的位姿坐标,用最小二乘法进行迭代,得到待抓取零件在相机坐标系中的位姿坐标(x,y,z,θx,θy,θz);
其中,k为梯形零件的视图库的层序号,由顶层到底层分别为K、K-1、K-2、…、2、1。
9.根据权利要求8所述的方法,其特征在于,步骤B5具体为:
将待抓取零件在相机坐标系中的位姿坐标换算为世界坐标系中的坐标:
wTowTt ttTc cTo
其中:
wTo为待抓取零件在世界坐标系中的坐标,即待抓取零件的抓取点;
wTt为工业机器人工具坐标系在世界坐标系中的坐标,通过向工业机器人读取;
tTc为相机坐标系在工业机器人工具坐标系中的坐标,通过手眼标定获得;
cTo为待抓取零件在相机坐标系中的位姿坐标,通过位姿识别过程获得;
控制机器人手爪按照预设的路径接近待抓取零件,并进行抓取。
10.根据权利要求9所述的方法,其特征在于,所述相机的内参数与构建视图库时所用的虚拟相机的内参数相等。
11.根据权利要求10中所述的方法,其特征在于,所述相机为单目相机,利用平面标定板,获取相机内参数(f,k,Sx,Sy,Cx,Cy);其中,f为相机焦距,k为相机畸变系数;Sx,Sy为图像传感器在水平和垂直方向上相邻像素之间的距离;Cx,Cy为投影中心在成像平面的垂直投影。
12.根据权利要求11所述的方法,其特征在于,待抓取零件放置在传送带上。
13.一种零件定位抓取装置,其特征在于,包括计算机、控制柜、工业机器人、手爪,以及工业相机;
所述计算机通过网络与工业机器人、控制柜,以及工业相机进行通讯,作为主控制服务器;
所述控制柜,用于接收计算机发来的控制命令,并控制工业机器人执行相应的动作;
所述工业机器人,用于执行控制柜发来的命令;
所述手爪固定在所述工业机器人上,用于抓取放置在平面上的零件;
所述工业相机,固定在工业机器人上或手爪上,用于在线拍摄二维图像。
14.根据权利要求13所述的装置,其特征在于,所述计算机上装载了图像处理及控制系统。
所述图像处理及控制系统,包括待抓取零件的零件视图库、零件视图库管理模块、零件图像提取模块、零件位姿匹配模块,以及控制模块;
所述零件视图库,基于权利要求1~5中任一项所述方法构建;
所述零件视图库管理模块,用于零件视图库的构建、添加、删除和查询操作;
所述零件图像提取模块,利用差分背景法从在线拍摄的二维图像中提取待抓取零件的图像;
所述零件位姿匹配模块,将待抓取零件的图像与零件视图库中图像进行逐层匹配;并利用最小二乘迭代的方法确定待抓取零件的位姿;
所述控制模块,通过控制柜下达控制命令,控制工业相机进行图像拍摄;根据由所述零件位姿匹配模块确定的待抓取零件的位姿,控制工业机器人移动、控制手爪执行抓取及放置动作。
15.根据权利要求14所述的装置,其特征在于,所述将待抓取零件的图像与零件视图库中图像进行逐层匹配,具体为:
提取待抓取零件二维图像的边缘信息,与零件视图库中顶层的二维图像边缘信息进行相似度计算,选择相似度最高的图像,定位其所对应的下一层节点,在下一层节点中再选取相似度最高的图像;依此类推,直到零件视图库的底层。
16.根据权利要求15所述的装置,其特征在于,所述工业相机为单目相机,与构建零件视图库时所用的虚拟相机具有相同的内参数。
17.根据权利要求16所述的装置,其特征在于,所述计算机通过有线网络与工业机器人、控制柜,以及相机进行通讯。
CN201611213406.3A 2016-12-23 2016-12-23 零件视图库构建方法、零件定位抓取方法及装置 Active CN106845354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611213406.3A CN106845354B (zh) 2016-12-23 2016-12-23 零件视图库构建方法、零件定位抓取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611213406.3A CN106845354B (zh) 2016-12-23 2016-12-23 零件视图库构建方法、零件定位抓取方法及装置

Publications (2)

Publication Number Publication Date
CN106845354A true CN106845354A (zh) 2017-06-13
CN106845354B CN106845354B (zh) 2020-01-03

Family

ID=59135549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611213406.3A Active CN106845354B (zh) 2016-12-23 2016-12-23 零件视图库构建方法、零件定位抓取方法及装置

Country Status (1)

Country Link
CN (1) CN106845354B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统
CN109146939A (zh) * 2018-09-07 2019-01-04 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN110706285A (zh) * 2019-10-08 2020-01-17 中国人民解放军陆军工程大学 基于cad模型的物体位姿预测方法
CN111702756A (zh) * 2020-05-26 2020-09-25 深圳市中纬智能有限公司 一种基于机器视觉的物体抓取方法、机器人及存储介质
CN112488174A (zh) * 2020-11-26 2021-03-12 江苏科技大学 一种相似零件智能检索方法
WO2022021156A1 (zh) * 2020-07-29 2022-02-03 西门子(中国)有限公司 用于机器人抓取三维物体的方法和装置
CN115393620A (zh) * 2022-09-21 2022-11-25 齐鲁工业大学 一种光笔式三坐标测量系统零件姿态识别方法及光笔结构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN204585232U (zh) * 2015-03-26 2015-08-26 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统
CN105014678A (zh) * 2015-07-16 2015-11-04 深圳市得意自动化科技有限公司 基于激光测距的机器人手眼标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN204585232U (zh) * 2015-03-26 2015-08-26 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统
CN105014678A (zh) * 2015-07-16 2015-11-04 深圳市得意自动化科技有限公司 基于激光测距的机器人手眼标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUANKAI LIU 等: "Vision-Based 3-D Grasping of 3-D Objects With a Simple 2-D Gripper", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS: SYSTEMS》 *
WENJUN ZHU 等: "Real-time 3D Model-based Tracking of Work-piece with Monocular Camera", 《2015 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统
CN109146939A (zh) * 2018-09-07 2019-01-04 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN110706285A (zh) * 2019-10-08 2020-01-17 中国人民解放军陆军工程大学 基于cad模型的物体位姿预测方法
CN111702756A (zh) * 2020-05-26 2020-09-25 深圳市中纬智能有限公司 一种基于机器视觉的物体抓取方法、机器人及存储介质
CN111702756B (zh) * 2020-05-26 2022-03-08 深圳市中纬智能有限公司 一种基于机器视觉的物体抓取方法、机器人及存储介质
WO2022021156A1 (zh) * 2020-07-29 2022-02-03 西门子(中国)有限公司 用于机器人抓取三维物体的方法和装置
EP4166281A4 (en) * 2020-07-29 2024-03-13 Siemens Ltd. China METHOD AND APPARATUS ALLOWING A ROBOT TO GRIP A THREE-DIMENSIONAL OBJECT
CN112488174A (zh) * 2020-11-26 2021-03-12 江苏科技大学 一种相似零件智能检索方法
CN115393620A (zh) * 2022-09-21 2022-11-25 齐鲁工业大学 一种光笔式三坐标测量系统零件姿态识别方法及光笔结构

Also Published As

Publication number Publication date
CN106845354B (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN106845354A (zh) 零件视图库构建方法、零件定位抓取方法及装置
KR102367438B1 (ko) 마커를 결합한 동시 위치결정과 지도작성 내비게이션 방법, 장치 및 시스템
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
EP3458919B1 (en) Robot assisted object learning vision system
US11813749B2 (en) Robot teaching by human demonstration
CN105234943B (zh) 一种基于视觉识别的工业机器人示教装置及方法
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
JP2018169403A5 (zh)
US7280687B2 (en) Device for detecting position/orientation of object
CN108171748A (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN107471218A (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
CN106403924B (zh) 基于深度摄像头的机器人快速定位与姿态估计方法
CN110281231A (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
KR101896827B1 (ko) 사용자 자세 추정 장치 및 방법
Li et al. Aruco marker detection under occlusion using convolutional neural network
KR101021470B1 (ko) 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
WO2021085561A1 (ja) 学習データ生成方法
CN110433467A (zh) 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
CN110009689A (zh) 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN109472778B (zh) 一种基于无人机的高耸结构外观检测方法
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant