CN113715016B - 一种基于3d视觉的机器人抓取方法、系统、装置及介质 - Google Patents

一种基于3d视觉的机器人抓取方法、系统、装置及介质 Download PDF

Info

Publication number
CN113715016B
CN113715016B CN202110944712.9A CN202110944712A CN113715016B CN 113715016 B CN113715016 B CN 113715016B CN 202110944712 A CN202110944712 A CN 202110944712A CN 113715016 B CN113715016 B CN 113715016B
Authority
CN
China
Prior art keywords
grabbing
point
point cloud
acquiring
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110944712.9A
Other languages
English (en)
Other versions
CN113715016A (zh
Inventor
王城
王耿
陈和平
席宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Minshuo Intelligent Technology Co ltd
Original Assignee
Jiaxing Minshuo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Minshuo Intelligent Technology Co ltd filed Critical Jiaxing Minshuo Intelligent Technology Co ltd
Priority to CN202110944712.9A priority Critical patent/CN113715016B/zh
Publication of CN113715016A publication Critical patent/CN113715016A/zh
Application granted granted Critical
Publication of CN113715016B publication Critical patent/CN113715016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于3D视觉的机器人抓取方法、系统、装置及介质,其中方法包括:对于包括n个零件的组装产品,获取所述组装产品的点云;根据点云切割算法对所述组装产品的点云进行分割,获得n个子点云;根据子点云从预设的数据库中,匹配获取各个所述零件的点云模型;根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点;获取零件的抓取点与手眼标定模型的抓取点之间的转换关系;根据所述转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取所述零件。本发明基于单个机器人,实现多个零件的识别与抓取,能够进行多个物体的装配,提高了自动化程度,有效地控制了成本,可广泛应用于智能机器人技术领域。

Description

一种基于3D视觉的机器人抓取方法、系统、装置及介质
技术领域
本发明涉及智能机器人技术领域,尤其涉及一种基于3D视觉的机器人抓取方法、系统、装置及介质。
背景技术
近年来,机器人已被广泛应用于各个不同的领域,包括医疗、工业生产、环境监测、城市管理等。在面对不同的应用环境时,对机器人自身对环境的适应能力,工作效率等提出了更高的要求,将机器视觉和机器相互结合将极大的提升机器人工作效率和多种环境抓取物体。
当一个产品由多个零件组成,其装配需要机器人抓取不同零件,目前大多数机器人装配还是通过定点定位的装配,而且单个机器人装配的零件往往单一零件的装配,装配物体的灵活性比较差,对于多个零件若使用多个机器人进行协同操作,所占用到空间和电力等成本的提升,对于企业生产产品的更新换代,机器人的调整以及换装成本也会大大提升。若使用单个机器人装配不同零件,就需要计算出机器人抓手到不同待抓取零件的位姿,才能完成有效抓取位姿。现有的方法对更换装配多个零件时,无法获取机器人抓手到待抓取零件的位姿,从而导致无法获得对应的抓取位姿。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种基于3D视觉的机器人抓取方法、系统、装置及介质。
本发明所采用的技术方案是:
一种基于3D视觉的机器人抓取方法,包括以下步骤:
对于包括n个零件的组装产品,获取所述组装产品的点云;
根据点云切割算法对所述组装产品的点云进行分割,获得n个子点云;
根据子点云从预设的数据库中,匹配获取各个所述零件的点云模型;
根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点;
获取零件的抓取点与手眼标定模型的抓取点之间的转换关系;
根据所述转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取所述零件。
进一步,所述获取零件的抓取点与手眼标定模型的抓取点之间的转换关系,包括:
在手眼标定后,以所述零件的抓取点为原点建立新的三维坐标系;
将所述新的三维坐标系进行平移操作和/或旋转操作,使所述新的三维坐标系的原点与手眼标定模型的抓取点重合,获得零件的抓取点与手眼标定模型的抓取点之间的转换关系。
进一步,所述获取零件的抓取点与手眼标定模型的抓取点之间的转换关系,包括:
在手眼标定之前,以手眼标定模型的抓取点为原点建立第一三维坐标系;
基于零件的抓取点为原点建立第二三维坐标系;
将所述第二三维坐标系进行平移操作和/或旋转操作,使得所述第二三维坐标系与所述第一三维坐标系重合,生成齐次变换矩阵作为转换关系。
进一步,所述手眼标定模型通过以下方式进行标定:
3D相机采集标定场景的点云数据;
从所述点云数据中获取标定物的点云;
将获得的标定物的点云,与所述标定物的预设点云进行匹配,获得标定物在3D相机的坐标系中的位姿;
根据获得的位姿实现手眼标定;
其中,所述标定物固定在机器人的机械臂的末端,所述3D相机安装在所述机器人的上方。
进一步,所述标定物为三通管件。
进一步,还包括预先建立零件的三维模型的步骤,包括:
对零件进行扫描,获取零件的点云模型;
在所述点云模型中标注所述零件的抓取点后,保存所述点云模型。
进一步,采用以下公式计算坐标点的平移:
Figure BDA0003216253560000021
其中,p1表示第一坐标点;p2表示第二坐标点;
Figure BDA0003216253560000022
分别为第一坐标点p1的坐标;t是第一坐标点p1与第二坐标点p2之间的偏移量;Xt表示在X轴上的偏移量,Yt表示在Y轴上的偏移量,Zt表示在Z轴上偏移量。
本发明所采用的另一技术方案是:
一种基于3D视觉的机器人抓取系统,包括:
点云获取模块,用于对于包括n个零件的组装产品,获取所述组装产品的点云;
点云切割模块,用于根据点云切割算法对所述组装产品的点云进行分割,获得n个子点云;
点云匹配模块,用于根据子点云从预设的数据库中,匹配获取各个所述零件的点云模型;
抓取点获取模块,用于根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点;
抓取点转换模块,用于获取零件的抓取点与手眼标定模型的抓取点之间的转换关系;
位姿反算模块,用于根据所述转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取所述零件。
本发明所采用的另一技术方案是:
一种基于3D视觉的机器人抓取装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是:
一种存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是:本发明基于单个机器人,实现多个零件的识别与抓取,能够进行多个物体的装配,提高了自动化程度,有效地控制了成本。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于3D视觉的机器人抓取方法步骤流程图;
图2是本发明实施例中于机器人装配系统的示意图;
图3是本发明实施例中三通水管的实物图;
图4是本发明实施例中三通水管的模型图;
图5是本发明实施例中抓取点归原的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
装配机器人在利用机器视觉进行装配时,首先需要进行相机标定和手眼标定确定装配物体在相机坐标系,世界坐标坐标系和机器人抓手坐标系中位置关系,从而生成与之相对于的齐次转换矩阵或是三维姿态关系。并且判断出物体相对与机器人抓手的位置和姿态。再根据模型生成抓取姿态,完成运动规划,执行装配任务。在机器人进行装配的过程中面对不同物体时,选择更换匹配的模型从而得到抓取物体的位置和之态。但是上述方法将会出现以下问题:更换装配多个零件时,无法获取机器人抓手到待抓取零件的位姿,从而导致无法获得对应的抓取位姿。
为了解决上述难题,现有技术提供了多种解决办法,如通过多重力约束来确定零件抓取位置姿态,这个方案解决了如何装配的位置和姿态。但是这个带来了一些问题,要么需要对点云进行提前处理,其增加了算法的复杂和抓取时间增加了,造成机器人装配系统整体成本的增加。除了上述方法以外,目前采用方法到多数是通过深度学习来抓取零件,但是这些方法的缺点也是十分明显的,其一是深度学习的开发难度比较复杂,其二消耗的成本较大。
基于上述问题,本实施例提供一种基于3D视觉的机器人抓取方法,该方法能够基于三维空间和任意物体形状,快速地抓取到物体;另外;在抓取和装配零件时可以匹配多个不同的物体并且能计算不同物体相对应的抓取位姿。这里需要强调的是,本实施例中的机器人的末端安装的是抓手,而不是吸盘,所以需要先找到抓取点,如果不基于抓取点对物体进行抓取,可能会“撞”到物体,从而损坏物体。该方法包括以下步骤:
S1、构建零件的点云模型数据库。
对零件进行扫描,构建零件的点云模型,在所述点云模型中标注所述零件的抓取点后,保存所述点云模型。
在一些实施例中,可对零件的点云模型进行二次处理,以在点云匹配过程中提升点云处理点云的速度,其中,二次处理包括降采样处理和去三角化处理。
S2、对于包括n个零件的组装产品,获取组装产品的点云。
S3、根据点云切割算法对组装产品的点云进行分割,获得n个子点云。
S4、根据子点云从预设的数据库中,匹配获取各个零件的点云模型。
S5、根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点。
S6、获取零件的抓取点与手眼标定模型的抓取点之间的转换关系。
S7、根据转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取零件。
在一些可选的实施方式中,步骤S6通过以下步骤A1-A2来实现:
A1、在手眼标定后,以所述零件的抓取点为原点建立新的三维坐标系;
A2、将所述新的三维坐标系进行平移操作和/或旋转操作,使所述新的三维坐标系的原点与手眼标定模型的抓取点重合,获得零件的抓取点与手眼标定模型的抓取点之间的转换关系。
在一些可选的实施方式中,步骤S6通过以下步骤B1-B3来实现:
B1、在手眼标定之前,以手眼标定模型的抓取点为原点建立第一三维坐标系;
B2、基于零件的抓取点为原点建立第二三维坐标系;
B3、将所述第二三维坐标系进行平移操作和/或旋转操作,使得所述第二三维坐标系与所述第一三维坐标系重合,生成齐次变换矩阵作为转换关系。
在一些可选的实施方式中,机器人和3D相机相机之间的手眼标定模型通过以下步骤C1-C4来完成:
C1、3D相机采集标定场景的点云数据;
C2、从所述点云数据中获取标定物的点云;
C3、将获得的标定物的点云,与所述标定物的预设点云进行匹配,获得标定物在3D相机的坐标系中的位姿;
C4、根据获得的位姿实现手眼标定。
其中,所述标定物固定在机器人的机械臂的末端,所述3D相机安装在所述机器人的上方。在一些可选的实施例中,采用三通管件作为标定物,三通管件在生活中很常见(比如三通水管),易于获得,且不存在不连续边和顶点,非常适合作为标定物,三通水管的实物图如图3所示。参见图4,利用游标卡尺测量该三通水管的尺寸,利用solidworks软件绘制出模型图。
以下结合具体实施例对上述进行详细解释说明。
本实施例提出一种针对于任意物体的装配和自动化物体装配的方法,该方法可应用于机器人装配系统。该方法包括两部分,第一部分为匹配部分,通过改变装配物体的初始位姿来确定,在接下来的匹配时相对应的抓取姿态,其改变初始位姿以手眼标定时模型的位置进行参考。第二部分为自动任意物体的抓取部分,该部分将创建一个后台数据库,用来存放经过二次处理的模型数据。在装配机器人系统中如需要更改不同的抓取零件,只是需要在控制平台选择相应的零件模型,系统在匹配时将会根据模型数据来计算出相应的位置和姿态。
在本实施例中,参见图2,该机器人装配系统包括有PC机1、装配工件(即零件,图2中包括第一装配工件4、第二装配工件5)、YUMI机器人3、3D相机2。先将机器人固定在工作台上,在机器人工作的范围的上方固定3D相机,将机器人通过RJ45的通讯端口与PC机相连,3D相机通过USB3.0接口与PC机进行数据传输和控制。
创建数据库,即包含零件的点云模型的数据库,基于该数据库可以获得各个零件对象与拍摄点云对象之间的关系。其中,点云模型包括零件的属性信息,包括点云数、尺寸大小以及零件的名称等。
基于上述创建的数据库,进行模型抓取点归原的操作,该操作有两种方法来实现:
方法一:读取零件的三维模型(即点云模型),以零件的抓取点为原点建立新的三维坐标系,将新建立的三维坐标系进行三维平移和旋转,使该新坐标系的原点和手眼标定模型的抓取点重合。保存处理后的归原点模型文件。
方法二:在手眼标定之前,先以手眼标定模型的抓取点为原点建立第一坐标系,以零件的抓取点建立第二坐标系,再通过三维平移和旋转进行移动,使这二个坐标系重合生成新的模型,再进行手眼标定生成标定文件。在反算位姿之前对进行匹配的模型进行和手眼标定进行相同坐标转换。保存处理后的归原点模型文件。参见图5,第一步、将零件P1(如三通管件)上的抓取点O1平移到第一世界坐标系C1上的原点。第二步、确定零件P2的抓取点O2,以抓取点O2为原点建立第二世界坐标系C2。第三步、通过平移和旋转的操作,将第二世界坐标系C2与第一世界坐标系重合,同时生成相对比的齐次变换矩阵。第四步、通过齐次变换矩阵将零件P2转换到第一世界坐标系C1上,实现抓取点归原。
其中,三维坐标系的转换可通过以下方式来实现。
1)三维坐标的平移:
Figure BDA0003216253560000071
在三维空间中点p2平移到p1,如公式(1),其中Xp1,Yp1,Zp1为p1点的坐标,t是p2相对于p1的偏移的距离,这个是有大小和方向的。
2)三维坐标的旋转:
Figure BDA0003216253560000072
三维坐标的旋转主要是通过XYZ三个方向上的旋转进行组合,确定物体的旋转方式。
根据手眼标定文件确定的零件和机器人抓手的关系就固定了,生成的是一种刚性装换,当了解其零件的位置和其姿态从而确定抓手的位姿。其中将坐标系O2移动到坐标系O1,其计算公式如下:
O1=R*O2+t   (3)
其中在公式3中的R可以用矩阵的方式,表示为H,H为O1到O2的齐次变换矩阵。公式中t是二点之间平移的失量。
Figure BDA0003216253560000073
通过上述的公式将其中的刚性的转换成齐次变换矩阵的方式展现,在坐标系C2中O2原点转换成O1的计算过程。而其中的
Figure BDA0003216253560000074
Figure BDA0003216253560000075
例如,某个零件需要在Y轴上旋转和在Z轴上旋转,其齐次变换矩阵可以如公式(6)表示的那样。其中公式(2)的齐次转换矩阵是物体在空间中绕XYZ轴旋转的齐次变换矩阵。而公式(3)中的R表示物体从O2到O1移动时发生的旋转,通过上述公式(3),公式(4)和公式(5)和已知的点的信息可以知道H齐次转换矩阵。通过齐次转换矩阵将三维模型进行变换,从而确定新的三维模型。
获得零件的抓取点与手眼标定模型的抓取点之间的转换关系后,确定了零件和抓手之间刚性的变化,同时也确定了世界坐标系和相机之间的关系。
确定一个零件的姿态变化可以通过连续的旋转或是平移进行展现,例如中一个物体在点P1进行对此旋转到P2点可以通过公式7来实现:
Rgba=Rx(RotX)·Ry(RotY)·Rz(RotZ)   (7)
RotX表示在绕X轴旋转的角度,RotY表示绕Y轴旋转的角度,RotZ表示绕Z轴旋转的角度,R代表的是旋转矩阵。
在获得转换关系后,通过反算位姿的方式,算出物体的位姿,并且将位姿信息传递到机器人,并且机器人根据其中的装配程序进行装配。
综上所述,本实施例方法相对于现有技术,具有如下有益效果:本实施例提出的是一种简单而高效的抓取方法,解决了机器人装配快速的完成对装配零件的替换,同时能进行多个物体的同时装配和复杂工件的装配,提高自动化程度。
本实施例还提供了一种基于3D视觉的机器人抓取系统,包括:
点云获取模块,用于对于包括n个零件的组装产品,获取所述组装产品的点云;
点云切割模块,用于根据点云切割算法对所述组装产品的点云进行分割,获得n个子点云;
点云匹配模块,用于根据子点云从预设的数据库中,匹配获取各个所述零件的点云模型;
抓取点获取模块,用于根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点;
抓取点转换模块,用于获取零件的抓取点与手眼标定模型的抓取点之间的转换关系;
位姿反算模块,用于根据所述转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取所述零件。
本实施例的一种基于3D视觉的机器人抓取系统,可执行本发明方法实施例所提供的一种基于3D视觉的机器人抓取方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本实施例还提供了一种基于3D视觉的机器人抓取装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现图1所示方法。
本实施例的一种基于3D视觉的机器人抓取装置,可执行本发明方法实施例所提供的一种基于3D视觉的机器人抓取方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质,存储有可执行本发明方法实施例所提供的一种基于3D视觉的机器人抓取方法的指令或程序,当运行该指令或程序时,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于3D视觉的机器人抓取方法,其特征在于,包括以下步骤:
对于包括n个零件的组装产品,获取所述组装产品的点云;
根据点云切割算法对所述组装产品的点云进行分割,获得n个子点云;所述n个子点云分别为所述组装产品上n个不同零件的点云;
根据子点云从预设的数据库中,匹配获取各个所述零件的点云模型;
根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点;
获取零件的抓取点与手眼标定模型的抓取点之间的转换关系;
根据所述转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取所述零件;
所述手眼标定模型通过以下方式进行标定:
3D相机采集标定场景的点云数据;
从所述点云数据中获取标定物的点云;
将获得的标定物的点云,与所述标定物的预设点云进行匹配,获得标定物在3D相机的坐标系中的位姿;
根据获得的位姿实现手眼标定;
其中,所述标定物固定在机器人的机械臂的末端,所述3D相机安装在所述机器人的上方;
所述标定物为三通管件。
2.根据权利要求1所述的一种基于3D视觉的机器人抓取方法,其特征在于,所述获取零件的抓取点与手眼标定模型的抓取点之间的转换关系,包括:
在手眼标定后,以所述零件的抓取点为原点建立新的三维坐标系;
将所述新的三维坐标系进行平移操作和/或旋转操作,使所述新的三维坐标系的原点与手眼标定模型的抓取点重合,获得零件的抓取点与手眼标定模型的抓取点之间的转换关系。
3.根据权利要求1所述的一种基于3D视觉的机器人抓取方法,其特征在于,所述获取零件的抓取点与手眼标定模型的抓取点之间的转换关系,包括:
在手眼标定之前,以手眼标定模型的抓取点为原点建立第一三维坐标系;
基于零件的抓取点为原点建立第二三维坐标系;
将所述第二三维坐标系进行平移操作和/或旋转操作,使得所述第二三维坐标系与所述第一三维坐标系重合,生成齐次变换矩阵作为转换关系。
4.根据权利要求1所述的一种基于3D视觉的机器人抓取方法,其特征在于,还包括预先建立零件的三维模型的步骤,包括:
对零件进行扫描,获取零件的点云模型;
在所述点云模型中标注所述零件的抓取点后,保存所述点云模型。
5.根据权利要求2或3所述的一种基于3D视觉的机器人抓取方法,其特征在于,采用以下公式计算坐标点的平移:
Figure FDA0004040065000000021
其中,p1表示第一坐标点;p2表示第二坐标点;Xp1、Yp1、Zp1分别为第一坐标点p1的坐标;t是第一坐标点p1与第二坐标点p2之间的偏移量;Xt表示在X轴上的偏移量,Yt表示在Y轴上的偏移量,Zt表示在Z轴上偏移量。
6.一种基于3D视觉的机器人抓取系统,其特征在于,包括:
点云获取模块,用于对于包括n个零件的组装产品,获取所述组装产品的点云;
点云切割模块,用于根据点云切割算法对所述组装产品的点云进行分割,获得n个子点云;所述n个子点云分别为所述组装产品上n个不同零件的点云;点云匹配模块,用于根据子点云从预设的数据库中,匹配获取各个所述零件的点云模型;
抓取点获取模块,用于根据预设的零件装配顺序获取对应的零件的点云模型,以及获取零件的抓取点;
抓取点转换模块,用于获取零件的抓取点与手眼标定模型的抓取点之间的转换关系;
位姿反算模块,用于根据所述转换关系获取机器人抓手的抓取位姿,根据抓取位姿控制机器人抓取所述零件;
所述手眼标定模型通过以下方式进行标定:
3D相机采集标定场景的点云数据;
从所述点云数据中获取标定物的点云;
将获得的标定物的点云,与所述标定物的预设点云进行匹配,获得标定物在3D相机的坐标系中的位姿;
根据获得的位姿实现手眼标定;
其中,所述标定物固定在机器人的机械臂的末端,所述3D相机安装在所述机器人的上方;
所述标定物为三通管件。
7.一种基于3D视觉的机器人抓取装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-5任一项所述方法。
8.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述方法。
CN202110944712.9A 2021-08-17 2021-08-17 一种基于3d视觉的机器人抓取方法、系统、装置及介质 Active CN113715016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110944712.9A CN113715016B (zh) 2021-08-17 2021-08-17 一种基于3d视觉的机器人抓取方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110944712.9A CN113715016B (zh) 2021-08-17 2021-08-17 一种基于3d视觉的机器人抓取方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN113715016A CN113715016A (zh) 2021-11-30
CN113715016B true CN113715016B (zh) 2023-05-09

Family

ID=78676145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110944712.9A Active CN113715016B (zh) 2021-08-17 2021-08-17 一种基于3d视觉的机器人抓取方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN113715016B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113858217B (zh) * 2021-12-01 2022-02-15 常州唯实智能物联创新中心有限公司 多机器人交互的三维视觉位姿感知方法及系统
CN114253585B (zh) * 2021-12-24 2024-01-12 苏州浪潮智能科技有限公司 机器人运行程序的远程更新方法、系统、装置及存储介质
CN115049730B (zh) * 2022-05-31 2024-04-26 北京有竹居网络技术有限公司 零件装配方法、装置、电子设备及存储介质
CN117834836A (zh) * 2022-09-29 2024-04-05 长广溪智能制造(无锡)有限公司 一种物料抓取系统、方法、计算设备及介质
CN117104831A (zh) * 2023-09-01 2023-11-24 中信戴卡股份有限公司 转向节工件的机器人3d识别及加工方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776949B2 (en) * 2018-10-30 2020-09-15 Liberty Reach Inc. Machine vision-based method and system for measuring 3D pose of a part or subassembly of parts
EP3653348A1 (en) * 2018-11-19 2020-05-20 Tata Consultancy Services Limited System and method for intelligent 3d imaging guided robotic gripper
CN114174006B (zh) * 2019-07-19 2024-03-05 西门子(中国)有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
CN111508066B (zh) * 2020-04-16 2023-05-26 北京迁移科技有限公司 一种基于3d视觉的无序堆叠工件抓取系统及交互方法
CN112476434B (zh) * 2020-11-24 2021-12-28 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统
CN113246140B (zh) * 2021-06-22 2021-10-15 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置

Also Published As

Publication number Publication date
CN113715016A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113715016B (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
CN108972549B (zh) 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统
CN110170995B (zh) 一种基于立体视觉的机器人快速示教方法
CN109291048B (zh) 一种磨抛工业机器人实时在线编程系统及方法
CN113146620B (zh) 基于双目视觉的双臂协作机器人系统和控制方法
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN103707299A (zh) 一种实现折弯机器人折弯实时跟随的方法
CN108406769A (zh) 串联机器人的关节旋转角度确定方法及装置
CN113400301B (zh) 一种机器人3d手眼标定方法、系统、装置及介质
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
CN107253191A (zh) 一种双机械臂系统及其协调控制方法
CN104385283A (zh) 一种六自由度机械臂奇异位形的快速判断方法
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN111496783B (zh) 一种6r工业机器人逆运动学求解方法
CN114474056A (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
CN110962127B (zh) 一种用于机械臂末端位姿辅助标定装置及其标定方法
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN115674277A (zh) 一种具有手眼相机的双机械臂装置及其控制方法
Ren et al. Vision based object grasping of robotic manipulator
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制系统
CN114494426A (zh) 用于控制机器人来在不同的方位拿起对象的装置和方法
CN108076830A (zh) 一种基于机器视觉的苹果采摘机器人系统
CN112815851A (zh) 手眼标定方法及装置、系统、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant