CN102922521B - 一种基于立体视觉伺服的机械臂系统及其实时校准方法 - Google Patents

一种基于立体视觉伺服的机械臂系统及其实时校准方法 Download PDF

Info

Publication number
CN102922521B
CN102922521B CN201210279176.6A CN201210279176A CN102922521B CN 102922521 B CN102922521 B CN 102922521B CN 201210279176 A CN201210279176 A CN 201210279176A CN 102922521 B CN102922521 B CN 102922521B
Authority
CN
China
Prior art keywords
mechanical arm
visual
color
indicia thing
visual indicia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210279176.6A
Other languages
English (en)
Other versions
CN102922521A (zh
Inventor
王�锋
陈小平
靳国强
程敏
陈凯
谢炯坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201210279176.6A priority Critical patent/CN102922521B/zh
Publication of CN102922521A publication Critical patent/CN102922521A/zh
Application granted granted Critical
Publication of CN102922521B publication Critical patent/CN102922521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种机械臂系统及其校准方法,机械臂系统包括机械臂、视觉设备和主控设备,在所述机械臂的末端安装有视觉标记物,并且使视觉标记物位于视觉设备的视觉范围内;视觉设备和机械臂相互独立地安装,用于获取目标物体与该视觉标记物的图像,以识别和定位所述视觉标记物相对于目标物体的位姿;主控设备用于根据所述视觉标记物的图像计算所述机械臂的各个关节的角度,以控制所述机械臂对所述目标物体进行操作。本发明能够在机械臂上的关节存在间隙时对机械臂进行校准,使机械臂系统能够完成精确的操作任务。

Description

一种基于立体视觉伺服的机械臂系统及其实时校准方法
技术领域
[0001] 本发明属于机器人技术领域,具体涉及机器人的机械臂校准技术,特别是一种基于立体视觉伺服的机械臂及其实时校准方法。本发明能够简单而高精度地通过立体视觉定位位于机械臂末端的视觉标记物来进行机械臂的即时校准,适用于低成本、高精度要求的机械臂系统。
背景技术
[0002] 在现有技术中,按照机器人的应用环境分类,机器人包括制造环境下的工业机器人和非制造环境下的服务与仿人形机器人,其中服务机器人是指除从事工业生产以外的一大类半自主或全自主工作的机器人。其中基于视觉伺服的精确的机械臂抓取、操纵功能是服务机器人的重要功能之一,而手眼协调技术是其中的关键技术之一。手眼协调技术包括基于“手眼一体”的技术和基于“手眼分离”技术。其中,对于基于“手眼分离”技术的机器人的机械臂系统,其包括用于目标识别与定位的视觉设备和机械臂,机械臂末端包括用于抓取、操纵的执行器,所述视觉设备与机械臂是独立安装在机器人上的。比如,视觉设备安装在服务机器人的头部,机械臂安装在机器人本体上,安装位置例如机器人的肩膀或者机器人的底座。
[0003] 在这样的机械臂系统中,要完成对目标物体的精确抓取或操纵,就需要将视觉设备的坐标空间与机械臂末端的坐标空间进行对齐,消除两者间的偏差,或者说将机械臂的末端执行器的位姿换算到视觉设备的坐标系中,从而使得抓取或操纵的目标物体与末端执行器的相对位姿是准确的,进而保证抓取、操纵任务的有效完成。
[0004] 在这样的机械臂系统中,要完成这种准确的对齐,需要满足如下条件:(I)对机械臂相对于机器人的头部的相对位置做准确的测量;(2)对机器人的头部与机械臂上相邻关节的相对位移做准确的测量;(3)保证机器人的头部与机械臂上的各关节的角度值准确。其中,条件(I)和(2)是由机器人的机械结构决定的,可以通过手工的测量方法直接得到精确的值;条件(3)则存在关节安装(或重启动)的零位置偏差和关节间隙两个因素导致的从关节传感器得到的关节角度值与实际值不符合的问题。
[0005] 对于零位置偏差,有两种情况:一种是关节使用绝对编码器来获取关节位置的情况,这个需要在机械手系统安装好之后对各关节进行一次系统的零位置校准;另一种是关节使用相对编码器来计算关节位置的情况,这需要机械手系统每次启动时做一次各关节的零位置校准。至于关节间隙,主要是由驱动电机和轴承间的传动系统(即减速器)产生的。使用谐波减速器几乎可以做到零间隙,因而不会影响到机械臂的精度,但是谐波减速器的造价高昂,使得机械臂的成本难以控制;而使用造价低的行星减速器,则不可避免的因齿轮间隙导致的关节间隙,且间隙会随着关节的使用而逐渐变大,有间隙的关节,对于由编码器获得的某个关节角度值,关节的实际值是可以在这个关节角度值附近、关节间隙的范围内变动的,这种不可控的关节间隙严重影响机械臂的精度。
[0006] 为了获得机械臂的高精度,现有的机械臂系统一般都是使用谐波减速器来避免关节间隙,并在安装之初和机械臂系统在重启时作系统的零位置校准来完成。也就是说,现有的机械臂系统在精度高的同时成本也高,而成本低的话则精度不高。但是业内更希望有一种低成本、高精度的机械臂系统。
发明内容
[0007]( 一 )要解决的技术问题
[0008] 本发明要解决的技术问题是通过立体视觉和特定的视觉标记物来实现机器人的机械臂系统的实时精确校准,以在控制成本的同时保证机械臂操作时的高精度。
[0009] ( 二 )技术方案
[0010] 为解决上述技术问题,本发明提出一种机械臂系统,用于对目标物体进行操作,并且所述机械臂系统包括机械臂、视觉设备和主控设备,该机械臂具有多个关节,且在所述机械臂的末端安装有视觉标记物,并且,所述视觉标记物位于所述视觉设备的视觉范围内,作为识别和定位所述机械臂末端的标记;所述视觉设备和机械臂相互独立地安装,用于获取目标物体与该视觉标记物的图像,以识别和定位所述视觉标记物相对于目标物体的位姿;所述主控设备用于根据所述视觉标记物的图像计算所述机械臂的各个关节的角度,以控制所述机械臂对所述目标物体进行操作。
[0011] 本发明还提出一种机械臂系统的实时校准方法,所述机械臂系统用于对目标物体进行操作,并且所述机械臂系统包括机械臂,该机械臂具有多个关节,其特征在于,所述方法包括如下步骤:Tl、采集所述目标物体的实时图像,根据该实时图像计算该目标物体彩色深度图像,从而确定该目标物体在视觉坐标系中的位置,所述视觉坐标系是基于视觉设备的坐标系;T2、在所述视觉坐标系中,根据所述目标物体的位置计算出一个停靠位置,该并控制机械臂的末端移动到该停靠位置,所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置;Τ3、在所述机械臂的末端设置视觉标记物,采集该视觉标记物的实时图像,并根据该视觉标记物的实时图像计算该视觉标记物的彩色深度图像,由此识别和定位该视觉标记物,并确定其位姿;Τ4、根据所述视觉标记物的位姿计算所述机械臂的各关节的角度,从而对该机械臂进行校准。
[0012] 本发明还提出一种机器人,其包括所述的机械臂系统。
[0013](三)有益效果
[0014] 本发明的机械臂系统及其校准方法能够对机械臂进行实时校准,特别是当机械臂上的关节存在间隙时,本发明也能进行精确校准,从而使得机械臂系统能够完成精确的操作任务。
附图说明
[0015]图1是本发明的一个实施例的机械臂系统的整体结构示意图;
[0016]图2是图1所示的本发明实施例的机械臂系统的视觉标记物的具体结构示意图;
[0017] 图3是本发明的机械臂系统校准方法的流程图;
[0018] 图4是图3所示的方法中的步骤Τ3的流程图;
[0019] 图5是本发明的根据所述视觉标记物的位姿计算机械臂的各关节的角度的方法的示意图。
具体实施方式
[0020] 本发明的机械臂系统是机器人的一部分,用于对目标物体进行操作,机器人具有一个本体,而该机械臂系统包括机械臂、视觉设备和主控设备。其中,机械臂包括多个连杆和连杆之间的关节,并且还包括用于固定在机器人本体上的固定装置。由于各个连杆之间的关节具有运动自由度,从而使得该机械臂具有多个运动自由度。并且,上述各关节均包括关节控制器,用于对关节的运动位置进行控制。此外,在机械臂的末端具有一个执行器,该执行器相对于机械臂的臂关节的位置和角度由一个机械臂坐标系来标定。该机械臂坐标系的原点位于该机械臂与机器人本体的固定装置处。
[0021] 本发明的视觉设备同样安装在机器人本体上,但与机械臂之间在结构上不相关联,即相互间独立地安装。视觉设备也可以进行运动,例如通过与本体之间的连接关节进行旋转和俯仰等。并且视觉设备包括有图像采集装置和图像采集控制器(两者可以是各自独立的装置或是集成装置),图像采集装置用于采集图像,图像采集控制器用于对图像的采集、传输进行控制。
[0022] 并且,在本发明的机械臂系统中,机械臂的各个关节具有关节控制器,关节控制器用于控制各个关节进行转动,视觉设备的图像采集控制器和机械臂的各个关节控制器均电性连接于一个主控设备,该主控设备根据图像设备采集的关于机械臂末端的执行器与目标物体的图像,并通过关节控制器控制机械臂对目标物体进行精确地操作。
[0023] 如上所述,视觉设备用于采集目标物体与机械臂末端的执行器实时图像,控制设备由该实时图像识别和定位机械臂的末端的执行器与目标物体之间的相对位置和相对角度。但是,由于机械臂与视觉设备是独立安装的,视觉设备所采集的图像中的物体的位置和角度是基于不同于机械臂坐标系的视觉坐标系的,该视觉坐标系是基于视觉设备的坐标系,其原点例如位于安装视觉设备的一个云台的旋转与俯仰关节的轴线的交点上。
[0024] 前面提到了机械臂坐标系和视觉坐标系,在此需要说明的是,这两个坐标系之间是可以相互换算的,根据这两个设备在机器人本体上的安装位置和我们对这两个坐标系的原点和轴向的定义,我们可以得到这两个坐标系间的换算关系。比如要控制机械臂抓取物体时,我们可先得到物体在视觉坐标系中的位置,然后将此位置换算到机械臂坐标系中,再以此计算出机械臂末端的夹持器要到达该位置机械臂各关节所对应的位置和角度。
[0025] 为了实时、精确地识别与定位机械臂末端的执行器,本发明在机械臂的末端固定一个视觉标记物,通过使用视觉设备对该视觉标记物在视觉坐标系上的空间位姿(位置和角度)进行识别和定位,从而计算得到机械臂末端的执行器在视觉坐标系下的空间位姿,进而通过逆运动学计算出当前机械臂上各个关节的真实角度值,完成机械臂的实时校准。事实上,即使机械臂的各关节之间有间隙,但由于重力的作用,关节轴承会比较稳定地停靠在间隙范围的某一端,也就是说,只要机械臂运动过程中,这一状态不改变,关节间隙的不可控性就不会表现出来,实时校准过后其精确性能保持到状态的改变。
[0026] 为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
[0027]图1是本发明的一个实施例的机械臂系统的整体结构示意图。如图所示,该实施例的机械臂系统是一个机器人的一部分,该机器人还包括本体I和安装在本体上的头部2,而该机械臂系统包括机械臂3、视觉设备4和主控设备5。
[0028] 具体来说,在该实施例中,本体I是一个双轮差动的移动机器人底座,其上部是一个平整表面,用以搭载其他设备。我们约定图1中向左为移动底座的正方向,底座表面左边部分称为前端,底座表面右边部分称为后端。机器人的头部2是通过一个支架6安装在底座I上的后端,而机械臂系统的视觉设备4是安装在该头部上的。机械臂系统的机械臂3则直接固定在底座I的前端。机械臂和视觉设备4的安装一前一后,机械臂末端在视觉设备的视野范围内,符合手眼协调的需求。同时,在进行抓取、操纵任务时,先要通过视觉系统搜索、定位目标物体,这时暂不涉及机械臂,所以视觉设备4和机械臂也是相互独立的。本发明的机械臂系统也可以应用于其它结构的机器人上,只要机器人能机械上安装该系统(如果是移动机器人的话则要保证安装该系统后仍保持运动的平稳性)。另外,视觉设备4和机械臂3在机器人上的安装位置也可以做各种变化,但是须保证其是独立安装,且机械臂末端能够位于视觉设备可达的视野范围内。
[0029] 如图1所示,本实施例的机械臂3是一个简易的机械臂,机械臂坐标系Ck的原点在其与底座接触面的中心,该坐标系为右手系,往前是X轴的正方向,往上是Y轴的正方向。该机械臂3只在Y、Z两个维度上有自由度,从靠近机器人本体到远离机器人本体的顺序依次是:第一个关节上有两个自由度,绕Z轴旋转、绕Y轴俯仰;第二个关节上有一个自由度,绕Y轴俯仰;第三个关节上有一个自由度,绕Y轴俯仰,第四个关节有一个自由度,绕Z轴旋转。上述各个关节均包括有关节控制器,关节控制器可以对关节的运动位置进行控制。在机械臂3的末端连接有一个作为末端执行器的夹持器7,其可被驱动以在一个自由度上张开和闭合,以便于夹持目标物体。
[0030] 根据本发明,在该机械臂3的末端固定一个视觉标记物8,该视觉标记物8的作用是作为所述视觉设备4用于识别和定位机械臂末端的一个标记,以便视觉设备4实时校准机械臂末端相对于目标物体的位姿(位置和角度)。
[0031] 根据本发明的优选实施方式,视觉标记物8呈片状的长方形,该视觉标记物8粘附在机械臂3的最后一节连杆的靠近连杆末端的正上表面位置,并且该片状视觉标记物的平面与机械臂3的最后一节连杆相垂直。
[0032] 根据本发明的优选实施方式,视觉标记物8具有特征颜色,所谓特征颜色是指用于视觉识别的系统(视觉设备和主控设备)中能够进行识别和标定的颜色,特征颜色可以形成一个色块,并使具有色块的部分位于所述视觉设备4的视野范围内。
[0033] 本领域技术人员应当理解的是,该实施例中所示的机械臂3是一种比较简单的情况,本发明也可用于其它更加复杂的机械臂结构中,例如在第三个关节处加一个绕Z轴旋转的自由度,但其前提是:要使得机械臂在使用过程中视觉标记物能暴露在视觉设备的视野中,且能够通过视觉标记物8在机械臂坐标系Ck中的空间位姿,根据机械臂的结构约束来直接获得机械臂3上各个关节的角度。
[0034]图2是图1所示的本发明实施例的机械臂系统的视觉标记物8的具体结构示意图。如图2所示,视觉标记物8为一约2.5cmX9cm的长方形薄片(例如由铁片或铝片制成),在沿长边方向的一端,且在距短边Icm处,沿平行于短边的一条线折成90度角,使得该视觉标记物包括相互垂直的两部分,其中面积较小的一部分用于将该视觉标记物8固定在机械臂的末端,固定方式可以是粘附或螺丝固定等多种方式。
[0035] 该实施例中,该视觉标记物8的面积较大的一部分从机械臂3的末端的最后一节连杆的表面垂直向外支出。由于该部分具有两个面,可使其中一个面朝向视觉设备4。并且,为了便于视觉设备4进行识别和定位,对该朝向视觉设备的一面进行颜色设置如下:整个面设置一种背景颜色(例如白色),然后预留一定宽度(例如4mm)的边框,并将边框包围的内部区域设置为另一种与背景颜色差异较大的颜色(即前面所述的特征颜色,例如深橙色,在图2中以阴影线表示)。
[0036] 根据本发明,在设置内部区域的颜色时,根据所述视觉设备的类型进行不同的处理。例如,若是视觉设备是普通双目摄像头,则可尽可能让颜色块内多一些纹理,若是基于红外结构光的立体视觉(如体感外设Kinect,该设备是微软公司生产的XB0X360外设,能实时提供彩色-深度图像信息),则可以设置成纯色。如上所述地设置背景颜色和内部区域颜色,是为了让色块上的每个像素点都尽可能地保有深度信息,同时使色块不与环境中相似的色块粘连在一起,便于识别和定位色块。
[0037] 在该实施例中,机器人的头部由一个安装在支架6的顶端的云台实现,云台具有与支架连接的旋转、俯仰两个关节,云台上固定着所述视觉设备4。在该实施例中,视觉设备4是一个体感外设Kinect。在其他的实施方式中,其也可以是其他形式的立体视觉设备,如双目立体视觉设备等,只要它满足下面的特征:它能提供对齐的彩色-深度图像(在该实施例中为RGB-D图像,在图像的某些像素或区域,不同的立体视觉设备会有着不同程度的深度信息缺失),RGB-D图像的每个像素不仅有RGB的颜色信息,而且有在参照视觉坐标系CH下XYZ的空间位置信息,其图像采集、深度计算、深度-彩色图像对齐分别由相应的软、硬件实现。
[0038] 根据本发明,所述视觉设备4的图像采集控制器和机械臂3的各关节传感器均与一个主控设备5连接,视觉设备用于采集图像,并将采集的图像通过图像采集控制器传送到主控设备5中,主控设备5是一个具有图像处理能力的数字处理装置。在该实施例中,主控设备5是一个具有与图像采集控制器连接的接口的计算机。该计算机接收由视觉设备采集的实时图像,通过立体视觉算法对视觉标记物和目标物体进行识别与定位,进而对机械臂末端的执行器与目标位置进行识别和定位,并通过机械臂的各关节控制器进行控制,从而对机械臂进行实时校准,然后控制校准好的机械臂完成操作任务。
[0039] 下面通过对上述实施例中的机械臂末端的执行器与目标位置进行识别和定位的算法进行详细说明,以使本发明的机械臂系统的校准方法更加清楚。
[0040] 图3是基于本发明的机械臂系统的校准方法的流程图。如图3所示,本发明的校准方法包括如下步骤:
[0041] Tl:获取目标物体的实时图像,根据该实时图像计算目标物体彩色深度图像,从而确定目标物体在视觉坐标系CH中的位置,所述视觉坐标系CH是基于视觉设备的坐标系。
[0042] 在该实施例中,彩色深度图像为实时RGB-D图像,视觉坐标系CH的原点位于安装视觉设备的云台的旋转与俯仰关节的轴线的交点上。首先需要视觉设备采集目标位置的实时图像。在该实施例中,视觉设备4的图像采集装置为多个摄像头,该实时图像为该多个摄像头采集的图像。接着,通过图像采集控制器将这些实时图像传送到主控设备5中,主控设备5根据这些实时图像来计算出实时RGB-D图像,并在此基础上以识别和定位所述视觉标记物8相对于目标物体的位姿。在本领域中,不同立体视觉设备的RGB-D图像的获得均有成熟的方法,基于RGB-D图像的物体识别、定位也已有不少实用的方法,因此在此不再赘述。
[0043] T2:在所述视觉坐标系中,根据所述目标物体的位置计算出一个停靠位置,并控制机械臂的末端移动到该停靠位置,所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置。
[0044] 根据本发明的具体实施方式,该停靠位置距离物体有一定的距离,该距离的大小要使得该距离的大小使得所述目标物体和所述视觉标记物的图像能够同时被采集,同时也应留有足够的余量避免出现碰撞,例如在该实施例中,该距离大小为5〜10厘米。
[0045] 在该实施例中,在计算所述停靠位置时,可以直接从最终目标位置开始,沿指向机械臂坐标系Ck原点的方向但保持同样的高度回退5〜10厘米而得到停靠位置。加上机械臂的最后一节连杆应保持水平的约束,便可以计算出机械臂上各个关节需要到达的角度。然后,主控装置5向各个机械臂3的各个关节控制器发送控制信号,使各个关节控制器控制各个关节达到相应的角度,从而使机械臂的末端移动到该位置。
[0046] 需要注意的时,在这一步骤完成之后,机械臂的各关节角度可能是不准确的,但是能保证其误差是在一个相对较小的范围内。
[0047] T3:在所述机械臂的末端设置所述视觉标记物,采集该视觉标记物的实时图像,并根据该视觉标记物的实时图像计算该视觉标记物的彩色深度图像,由此识别该定位该视觉标记物,并确定其位姿,所述位姿指的是位置和角度。
[0048] 图4是识别该定位该视觉标记物并确定其位姿的方法的流程图。该方法的输入是根据视觉设备采集的实时图像计算得到的对齐的彩色深度图像。在该实施例中,其是RGB-D图像。我们假设视觉标记物8在视觉设备所采集的实时图像中呈现出具有特征颜色的色块,则该方法的具体步骤如下:
[0049] T31:将所述彩色深度图像转换到HSV颜色空间,然后用一个颜色阈值对该图像的像素进行分类,将其分为色块像素和非色块像素,得到一幅二值图。所述颜色阈值通常预先通过训练的方法得到,也可以直接设定。接着,根据该二值图去除明显不属于色块的像素,得到候选色块。
[0050] T32:根据所述候选色块中的所有像素对应的空间位置计算该候选色块在空间中的大小、形状和位姿。
[0051] T33:根据所述候选色块在空间中的大小、形状和位姿,滤除噪声色块,选出对应视觉标记物的色块。
[0052] 该步骤是一个可选步骤。因为可能存在的环境的不确定性,除了视觉标记物的色块外,图像中可能还有别的物体具有相似的颜色,因此图像中会有噪声色块。我们通过下面的步骤滤除噪声色块:
[0053] 首先,从候选色块中滤除与视觉标记物的大小、形状不相符合的色块区域。
[0054] 然后,通过机械臂的先验关节角度和正运动学计算视觉标记物的先验位姿,滤除与先验位姿相差超过一定范围的色块区域。所谓先验关节角度是指未进行校准前所获得的关节角度,正运动学指的是已知关节变量和连杆几何参数,求解机械臂末端相对于机械臂坐标系Ck的位姿,并将其转换到视觉坐标系中的方法,所计算得到的位姿在此称之为先验位姿。所述一定范围是指包括最大空间距离和最大空间角度差异,其值机械臂的误差的上界有关,例如在该实施例中,分别为12厘米和40度。
[0055] 最后,若还剩下的候选色块区域的个数大于或等于两个,则选择与先验位姿的相似度最高的色块。相似度的计算方式:d+fX Θ,其中d为色块与先验位姿的空间距离,Θ为空间角度差异,f为权重系数。在该实施例中f设为0.5。
[0056] 最后留下的色块区域的位姿将最终作为视觉标记物8的位姿。
[0057] T4:根据所述视觉标记物的位姿计算机械臂的各关节的角度,从而对该机械臂进行校准。
[0058] 图5是根据所述视觉标记物的位姿计算机械臂的各关节的角度的方法的示意图。如图5所示,A点表示机械臂坐标系的原点,即机械臂与机器人本体相互固定的固定装置的中心;B点表示从所述固定装置起始,沿着机械臂的第一个关节中心;C点为第二个关节中心;D点为第三个关节中心出点是视觉标记物8与最后一节连杆的接触点;P点为视觉标记物的中心。
[0059] 根据前面的步骤,现在已知视觉标记物8的中心点P在视觉坐标系中的位姿,即空间位置和角度,由于中心点P固定在机械臂3的末端,D点的空间位置便可以求得;由事先工作测量标定的机械臂和机器人头部的相对空间位置关系,我们可以直接得到A、B两点在视觉坐标系中的位置,故BD的长度可以求出来,又BC、CD的长度已知,故可得到角BCD的角度,再加上A、B、C、D、E均处在同一个平面,由此便可以计算出各个关节所实际处于的角度值(可预先设定当整个机械臂3竖直向上时各关节处于零角度)。
[0060] 以上的计算方法仅为本发明的一种示例,事实上,当本发明实施为各种不同结构的机械臂时,在已知视觉标记物在视觉坐标系中的位姿时,根据几何算法均可以计算出机械臂各关节实际的角度值。
[0061] 根据该步骤计算的角度值是符合实际的值。将各个关节设置为该角度时,可用于后续的精确操作,此即本发明所指的机械臂实时校准。
[0062] 按照一般方式控制校准好的机械臂操纵目标物体。由于已根据本发明的校准方法进行校准过,在运动轨迹设计时机考虑到机械臂以相对平滑的轨迹运动,实践证明,即便机械臂的关节有间隙,机械臂的运动控制在接下来的一段运动中,各关节的角度控制都是很准确的。
[0063] 以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种机械臂系统,用于对目标物体进行操作,并且所述机械臂系统包括机械臂(3)、视觉设备(4)和主控设备(5),该机械臂(3)具有多个关节,其特征在于,在所述机械臂(3)的末端安装有视觉标记物(8),并且, 所述视觉标记物(8)位于所述视觉设备(4)的视觉范围内,作为识别和定位所述机械臂末端的标记; 所述视觉设备(4)和所述机械臂相互独立地安装,用于获取目标物体与该视觉标记物(8)的图像,以识别和定位所述视觉标记物(8)相对于目标物体的位姿; 所述主控设备(5)用于根据所述目标物体的位置计算出一个停靠位置,并控制机械臂(3)的末端移动到该停靠位置,所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置,根据该视觉标记物(8)的实时图像计算该视觉标记物(8)的彩色深度图像,由此识别和定位该视觉标记物(8),并确定其位姿,以及根据所述视觉标记物(8)的位姿计算所述机械臂(3)的各个关节的角度,从而对该机械臂(3)进行校准,以控制所述机械臂(3)对所述目标物体进行操作。
2.如权利要求1所述的机械臂系统,其特征在于,所述机械臂具有多个连杆,该多个连杆通过所述多个关节相连接,并且所述视觉标记物(8)固定于所述机械臂末端的最后一节连杆上。
3.如权利要求2所述的机械臂系统,其特征在于,所述视觉标记物(8)固定于所述最后一节连杆的末端,并与该连杆垂直。
4.如权利要求2所述的机械臂系统,其特征在于,所述视觉标记物(8)具有特征颜色,所述特征颜色是所述视觉设备(4)和主控设备(5)能够进行识别和标定的颜色。
5.如权利要求4所述的机械臂系统,其特征在于,所述特征颜色形成色块,且该色块位于所述视觉设备(4)的视野范围内。
6.如权利要求4所述的机械臂系统,其特征在于,所述视觉标记物(8)为片状,所述特征颜色位于该片状的一面,将该具有特征颜色的一面朝向所述视觉设备(4)。
7.如权利要求1所述的机械臂系统,其特征在于, 所述视觉设备(4)包括图像采集装置和图像采集控制器,所述图像采集装置用于采集图像,所述图像采集控制器用于对图像的采集、传输进行控制; 所述机械臂(3)的各关节具有关节控制器,其用于控制各个关节进行转动; 所述图像采集控制器和所述关节控制器均电性连接于所述主控设备,所述主控设备接收所述图像采集控制器输入的图像,并通过所述关节控制器控制各个关节的运动。
8.如权利要求7所述的机械臂系统,其特征在于,所述图像采集装置是多个摄像头,所述图像采集控制装置用于将所述多个摄像头采集的实时图像传送至所述主控设备(5)。
9.如权利要求8所述的机械臂系统,其特征在于,主控设备(5)根据所述多个摄像头采集的实时图像计算彩色深度图像,并根据该彩色深度图像识别和定位所述视觉标记物(8)相对于目标物体的位姿。
10.一种机械臂系统的实时校准方法,所述机械臂系统用于对目标物体进行操作,并且所述机械臂系统包括机械臂,该机械臂具有多个关节,其特征在于,所述方法包括如下步骤: Tl、采集所述目标物体的实时图像,根据该实时图像计算该目标物体彩色深度图像,从而确定该目标物体在视觉坐标系中的位置,所述视觉坐标系是基于视觉设备的坐标系; T2、在所述视觉坐标系中,根据所述目标物体的位置计算出一个停靠位置,并控制机械臂的末端移动到该停靠位置,所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置; T3、在所述机械臂的末端设置视觉标记物,采集该视觉标记物的实时图像,并根据该视觉标记物的实时图像计算该视觉标记物的彩色深度图像,由此识别和定位该视觉标记物,并确定其位姿; T4、根据所述视觉标记物的位姿计算所述机械臂的各关节的角度,从而对该机械臂进行校准。
11.如权利要求10所述的机械臂系统的实时校准方法,其特征在于,所述视觉标记物具有特征颜色,所述特征颜色是能够进行识别和标定的颜色。
12.如权利要求10所述的机械臂系统的实时校准方法,其特征在于,在所述步骤Tl和T3中,所述彩色深度图像是RGB-D图像。
13.如权利要求10所述的机械臂系统的实时校准方法,其特征在于,在所述步骤T2中,该停靠位置距离所述目标物体有一定的距离,该距离的大小使得所述目标物体和所述视觉标记物的图像能够同时被采集。
14.如权利要求10所述的机械臂系统的实时校准方法,其特征在于,所述步骤T3包括如下步骤: T31、将所述彩色深度图像转换到HSV颜色空间,然后用一个颜色阈值对该图像的像素进行分类,将其分为色块像素和非色块像素,得到一幅二值图,根据该二值图去除明显不属于色块的像素,得到候选色块; T32、根据所述候选色块中的所有像素对应的空间位置计算该候选色块在空间中的大小、形状和位姿。
15.如权利要求14所述的机械臂系统的实时校准方法,其特征在于,在所述步骤T32之后还包括步骤T33,即根据所述候选色块在空间中的大小、形状和位姿,滤除噪声色块,选出对应所述视觉标记物的色块。
16.如权利要求15所述的机械臂系统的实时校准方法,其特征在于,所述步骤T33包括如下步骤:从所述候选色块中滤除与所述视觉标记物的大小、形状不相符合的色块区域; 通过所述机械臂的先验关节角度和正运动学计算所述视觉标记物的先验位姿,滤除与该先验位姿相差超过一定范围的色块区域,所述先验关节角度是指未进行校准时所获得的关节角度; 若剩下的候选色块区域的个数大于或等于两个,则选择与先验位姿的相似度最高的色块。
17.—种机器人,其特征在于,包括权利要求1-9中任一项所述的机械臂系统。
18.如权利要求17所述的机器人,所述机器人包括本体(I),所述机械臂系统的机械臂(3)和视觉设备(4)相互独立地安装于所述本体(I)上。
CN201210279176.6A 2012-08-07 2012-08-07 一种基于立体视觉伺服的机械臂系统及其实时校准方法 Active CN102922521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210279176.6A CN102922521B (zh) 2012-08-07 2012-08-07 一种基于立体视觉伺服的机械臂系统及其实时校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210279176.6A CN102922521B (zh) 2012-08-07 2012-08-07 一种基于立体视觉伺服的机械臂系统及其实时校准方法

Publications (2)

Publication Number Publication Date
CN102922521A CN102922521A (zh) 2013-02-13
CN102922521B true CN102922521B (zh) 2015-09-09

Family

ID=47637522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210279176.6A Active CN102922521B (zh) 2012-08-07 2012-08-07 一种基于立体视觉伺服的机械臂系统及其实时校准方法

Country Status (1)

Country Link
CN (1) CN102922521B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198477B (zh) * 2013-03-25 2015-07-15 沈阳理工大学 一种采用苹果套袋机器人进行视觉定位的方法
CN103802132B (zh) * 2014-03-04 2016-07-06 中国人民解放军军事医学科学院卫生装备研究所 具有目标跟随监视功能的可折叠轻型机械臂
JP2015174191A (ja) * 2014-03-17 2015-10-05 株式会社安川電機 ロボットシステム、ロボットシステムのキャリブレーション方法およびロボットシステムの位置補正方法
CN103895023B (zh) * 2014-04-04 2015-08-19 中国民航大学 一种基于编码方位装置的机械臂末端跟踪测量系统的跟踪测量方法
US9211643B1 (en) * 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
CN104315998B (zh) * 2014-10-29 2017-02-15 武汉科技大学 一种基于深度图像和方位角的门开度判断方法
CN104400788A (zh) * 2014-12-03 2015-03-11 安徽省库仑动力自动化科技有限公司 一种用于废旧铅电池拆解的视觉识别机器人系统
JP6542353B2 (ja) * 2015-03-18 2019-07-10 株式会社Fuji 部品供給装置
CN104865897B (zh) * 2015-04-10 2017-09-22 深圳市圆梦精密技术研究院 曲面零件的加工方法及曲面零件的加工设备
CN104858712B (zh) * 2015-04-10 2017-09-22 深圳市圆梦精密技术研究院 曲面零件的加工方法及曲面零件的加工设备
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
EP3374138A1 (en) * 2015-11-13 2018-09-19 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of obejcts
CN105773661B (zh) * 2016-03-30 2018-08-21 广东速美达自动化股份有限公司 水平机器人固定相机下工件平移旋转标定方法
CN106041927A (zh) * 2016-06-22 2016-10-26 西安交通大学 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法
CN106384115B (zh) * 2016-10-26 2019-10-22 武汉工程大学 一种机械臂关节角度检测方法
CN106971406B (zh) * 2017-03-06 2019-10-29 广州视源电子科技股份有限公司 物体位姿的检测方法和装置
WO2018209592A1 (zh) * 2017-05-17 2018-11-22 深圳配天智能技术研究院有限公司 一种机器人的运动控制方法、机器人及控制器
CN109033920A (zh) * 2017-06-08 2018-12-18 株式会社理光 一种可抓取目标的识别方法、装置及计算机可读存储介质
CN107315410B (zh) * 2017-06-16 2020-05-29 江苏科技大学 一种机器人自动排障方法
CN107806837B (zh) * 2017-10-29 2020-03-13 北京工业大学 一种非侵入式腕关节轴线运动模型测量方法
CN108015770A (zh) * 2017-12-07 2018-05-11 王群 机械手位置标定方法及系统
CN108388244A (zh) * 2018-01-16 2018-08-10 上海交通大学 基于人工路标的移动机器人系统、停靠方法及存储介质
CN108313715B (zh) * 2018-01-31 2019-12-24 上海理工大学 标记式民用软袋抓取搬运机器人
CN108297100A (zh) * 2018-02-11 2018-07-20 广州视源电子科技股份有限公司 机械臂参数标定方法、装置和系统、机械臂
CN108908399B (zh) * 2018-06-11 2020-07-21 杭州灵西机器人智能科技有限公司 一种基于同心圆环模板的机器人手眼标定方法
CN108908344A (zh) * 2018-08-17 2018-11-30 云南电网有限责任公司昆明供电局 一种巡检机器人机械臂末端空间定位方法
CN109176514B (zh) * 2018-09-03 2020-09-25 亿嘉和科技股份有限公司 一种基于立体视觉伺服的绕轴旋转机构操作方法
TWI677413B (zh) * 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
WO2020133628A1 (zh) * 2018-12-29 2020-07-02 深圳市工匠社科技有限公司 仿人机械手臂体感控制系统及相关产品
CN110116410B (zh) * 2019-05-28 2021-03-12 中国科学院自动化研究所 基于视觉伺服的机械臂目标导引方法
CN110720983B (zh) * 2019-09-05 2021-05-25 北京万特福医疗器械有限公司 一种视觉识别方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0544833B1 (en) * 1990-08-25 1996-10-16 Intelligent Automation Systems, Inc. Programmable reconfigurable parts feeder
CN1536975A (zh) * 2001-03-26 2004-10-13 Lb医药有限公司 用于对材料进行切除或用于材料进行加工处理的方法和器械系统
CN1985773A (zh) * 2005-12-22 2007-06-27 天津市华志计算机应用技术有限公司 基于光学跟踪闭环控制脑外科机器人系统及实现方法
CN101807247A (zh) * 2010-03-22 2010-08-18 中国农业大学 果蔬采摘点微调定位方法
CN102613041A (zh) * 2012-04-13 2012-08-01 浙江工业大学 基于机器视觉的葡萄套袋机器人系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11123682A (ja) * 1997-10-21 1999-05-11 Denso Corp 移動ロボットの停止位置検出システム
JP2001300875A (ja) * 2000-04-19 2001-10-30 Denso Corp ロボットシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0544833B1 (en) * 1990-08-25 1996-10-16 Intelligent Automation Systems, Inc. Programmable reconfigurable parts feeder
CN1536975A (zh) * 2001-03-26 2004-10-13 Lb医药有限公司 用于对材料进行切除或用于材料进行加工处理的方法和器械系统
CN1985773A (zh) * 2005-12-22 2007-06-27 天津市华志计算机应用技术有限公司 基于光学跟踪闭环控制脑外科机器人系统及实现方法
CN101807247A (zh) * 2010-03-22 2010-08-18 中国农业大学 果蔬采摘点微调定位方法
CN102613041A (zh) * 2012-04-13 2012-08-01 浙江工业大学 基于机器视觉的葡萄套袋机器人系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
应用于机械臂伺服的双目视觉系统研究;秦永钢;《中国优秀硕士学位论文全文数据库》;20090915;第28-29、38-59页 *

Also Published As

Publication number Publication date
CN102922521A (zh) 2013-02-13

Similar Documents

Publication Publication Date Title
US20180066934A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
US10011012B2 (en) Semi-autonomous multi-use robot system and method of operation
Kim et al. SLAM-driven robotic mapping and registration of 3D point clouds
CN106163771B (zh) 用于机器人3d打印的方法及系统
CN104354167B (zh) 一种机器人手眼标定方法及装置
US10618165B1 (en) Tooltip stabilization
KR101730221B1 (ko) 무인 운반차, 및 무인 운반차를 작동하기 위한 방법
WO2018108098A1 (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
Ohya et al. Vision-based navigation by a mobile robot with obstacle avoidance using single-camera vision and ultrasonic sensing
EP2543483B1 (en) Information processing apparatus and information processing method
CN103406905B (zh) 一种具有视觉伺服及检测功能的机器人系统
CN105082161B (zh) 双目立体摄像机机器人视觉伺服控制装置及其使用方法
JP2016526673A (ja) 移動可能な対象物体の場所を追跡するためのシステム及び方法
KR101003168B1 (ko) 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법
CN101419055B (zh) 基于视觉的空间目标位姿测量装置和方法
CN104842361B (zh) 具有3d箱体定位功能的机器人系统
CN103111753B (zh) 一种基于视觉的全自动晶圆划片机控制系统
US6559931B2 (en) Three-dimensional (3-D) coordinate measuring method, 3-D coordinate measuring apparatus, and large-structure building method
EP1215017B1 (en) Robot teaching apparatus
Alenya et al. 3D modelling of leaves from color and ToF data for robotized plant measuring
CN101370624B (zh) 自动化攫握零件的方法和系统
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
EP3171236B1 (en) Simulator, simulation method, and simulation program
EP1985416B1 (en) Mobile robot

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant