CN103991078A - 机器人系统和用于控制该机器人系统的方法 - Google Patents

机器人系统和用于控制该机器人系统的方法 Download PDF

Info

Publication number
CN103991078A
CN103991078A CN201410050567.XA CN201410050567A CN103991078A CN 103991078 A CN103991078 A CN 103991078A CN 201410050567 A CN201410050567 A CN 201410050567A CN 103991078 A CN103991078 A CN 103991078A
Authority
CN
China
Prior art keywords
towards
value
robot body
vision sensor
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410050567.XA
Other languages
English (en)
Other versions
CN103991078B (zh
Inventor
铃木秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103991078A publication Critical patent/CN103991078A/zh
Application granted granted Critical
Publication of CN103991078B publication Critical patent/CN103991078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45064Assembly robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Abstract

一种机器人系统和用于控制该机器人系统的方法。在获取用于坐标变换的校准值时不需要手动示教操作并且改进校准准确度的机器人系统包括机器人本体、照相机和控制设备。所述控制设备在第一位置和朝向组的每个位置和朝向处经由照相机测量校准板,所述第一位置和朝向组包括基准测量位置和朝向、以及第一偏移范围内的位置和朝向;基于测量值计算第一校准值;在第二位置和朝向组的每个位置和朝向处经由照相机测量校准板,第二位置和朝向组包括不同于基准测量位置和朝向的基准操作位置和朝向、以及第二偏移范围内的位置和朝向;基于测量值计算第二校准值;并通过使用第一校准值和第二校准值激活机器人本体。

Description

机器人系统和用于控制该机器人系统的方法
技术领域
本发明涉及一种利用通过控制多个关节而被驱动的铰接臂和视觉传感器的机器人系统、以及用于控制该机器人系统的方法。
背景技术
常规的机器人设备设有垂直铰接臂、末端执行器(以下称之为机器人本体)、用于控制它们的控制设备、以及附连到臂的末端的视觉传感器(以下称之为照相机)。在该机器人设备中,照相机测量诸如工件的目标对象,控制设备基于测量结果来计算目标对象的位置和朝向,并基于所计算的目标对象的位置和朝向,控制机器人本体的位置和朝向。
通常,用于照相机的测量坐标系不同于用于机器人本体的运动坐标系。因此,为了基于照相机的测量值获取机器人本体的运动目标值(命令值),有必要对照相机的测量值执行从测量坐标系到运动坐标系的坐标变换。为了执行该坐标变换,预先通过对测量坐标系和运动坐标系执行校准操作来获取校准值(坐标变换公式)是必要的。
作为该校准操作的例子,某种方法在顺序地改变机器人本体的多个位置和朝向的同时通过在机器人本体的每个位置和朝向使用照相机来测量用于校准的基准构件。该校准方法被已知为手眼校准方法(参照日本专利申请公开No.10-063317和Hand-Eye Calibration1(RaduHoraud和FadiDornaika,1995)。基于在机器人本体的每个位置和朝向处对于机器人本体的末端的命令值与来自照相机的用于校准的基准构件的测量值之间的关系,该方法获得运动坐标系与测量坐标系之间的关系以使得残差最小,然后获取校准值。
关于已知为校准操作的另一个例子的方法,照相机测量基准工件,操作者通过使用示教操纵台使机器人本体靠近基准工件(参照日本专利申请公开No.6-206186)。该方法在照相机测量基准工件之后使机器人本体靠近基准工件,获得通过照相机获得的测量值与对于机器人本体的命令值之间的关系,并获取用于测量坐标系和运动坐标系的校准值。
尽管在日本专利申请公开No.10-063317中所讨论的坐标校准方法没有考虑机器人本体的运动误差,但是运动误差实际上是由于臂上的机械误差和弯曲而产生的。另一方面,在实际操作中,机器人本体的强调工件测量时的测量准确度的测量位置和朝向与机器人本体的实际操作位置和朝向在很大程度上是不同的。因为机器人本体的上述运动误差在很大程度上取决于机器人本体的位置和朝向,所以在上述情况下,即使在执行坐标校准之后,也难以充分地改进准确度。
可以通过使用与日本专利申请公开No.6-206186中所讨论的坐标校准方法一样的、操作者向机器人本体示教实际操作位置和朝向的方法来在一定程度上防止机器人本体的这样的位置和朝向误差。然而,日本专利申请公开No.6-206186中所讨论的坐标校准方法要求操作者进行示教操作,因此,对于坐标调整需要比自动化操作所需的操作时间更长的操作时间。此外,关于相关方法,校准值的准确度可能根据操作者的技能水平而变化。
发明内容
本发明针对一种机器人系统和用于控制该机器人系统的方法,该机器人系统在获取用于具有视觉传感器的机器人中的坐标变换的校准值时不需要手动示教操作,同时改进坐标校准的准确度。
根据本发明的一方面,一种机器人系统包括:机器人本体,包括铰接臂和由该铰接臂支承的末端执行器;视觉传感器,被设置在机器人本体上;以及控制设备,被配置为控制机器人本体的位置和朝向,并通过使用经由视觉传感器测得的测量值来计算工件的位置和朝向。控制设备执行以下处理:在第一位置和朝向组的每个位置和朝向处经由视觉传感器测量基准构件,所述第一位置和朝向组包括机器人本体的第一基准位置和朝向、以及机器人本体在围绕第一基准位置和朝向的第一偏移范围内的位置和朝向;通过使用在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算第一校准值;在第二位置和朝向组的每个位置和朝向处经由视觉传感器测量基准构件,所述第二位置和朝向组包括机器人本体的不同于第一基准位置和朝向的第二基准位置和朝向、以及机器人本体在围绕第二基准位置和朝向的第二偏移范围内的位置和朝向,所述第二偏移范围是与第一偏移范围分离的范围,或者是其一部分与第一偏移范围重叠、而另一部分不与第一偏移范围重叠的范围;通过使用在第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算第二校准值;经由视觉传感器测量工件;以及通过使用第一校准值和第二校准值来激活机器人本体。
根据本发明的另一方面,一种用于控制机器人系统的方法,所述机器人系统包括机器人本体、设置在机器人本体上的视觉传感器和控制设备,机器人本体包括铰接臂和由该铰接臂支承的末端执行器,控制设备被配置为控制机器人本体的位置和朝向并通过使用经由视觉传感器测量的测量值来计算工件的位置和朝向,所述方法包括由控制设备执行的以下处理:在第一位置和朝向组的每个位置和朝向处经由视觉传感器测量基准构件,所述第一位置和朝向组包括机器人本体的第一基准位置和朝向、以及机器人本体在围绕第一基准位置和朝向的第一偏移范围内的位置和朝向;通过使用在第一位置和朝向组的每个位置和朝向处经由视觉传感器测得的基准构件的测量值来计算第一校准值;在第二位置和朝向组的每个位置和朝向处经由视觉传感器测量基准构件,所述第二位置和朝向组包括机器人本体的不同于第一基准位置和朝向的第二基准位置和朝向、以及机器人本体在围绕第二基准位置和朝向的第二偏移范围内的位置和朝向,所述第二偏移范围是与第一偏移范围分离的范围,或者是其一部分与第一偏移范围重叠、而另一部分不与第一偏移范围重叠的范围;通过使用在第二位置和朝向组的每个位置和朝向处经由视觉传感器测得的基准构件的测量值来计算第二校准值;经由视觉传感器测量工件;并通过使用第一校准值和第二校准值来激活机器人本体。
根据以下参照附图对示例性实施例的描述,本发明的进一步的特征将变得清楚。
附图说明
图1示意性地示出根据本发明的第一示例性实施例的机器人系统的配置。
图2是示出用于在根据本发明的第一示例性实施例的机器人系统中执行坐标校准的处理的流程图。
图3示出根据本发明的第一示例性实施例的机器人系统的测量位置和朝向组以及操作位置和朝向组的位置和朝向。
图4A和4B示出根据本发明的第一示例性实施例的机器人系统。图4A示出基准测量位置和朝向,图4B示出基准操作位置和朝向。
图5是示出每个位置和朝向组中的位置和朝向偏移的例子的表。
图6示出当在根据本发明的第一示例性实施例的机器人系统中计算基本校准值时机器人本体的位置和朝向。
图7示出当在根据本发明的第一示例性实施例的机器人系统中计算基本校准值的残差时机器人本体的位置和朝向。
图8A、8B和8C示出当工件被根据本发明的第一示例性实施例的机器人系统抓握时机器人本体的位置和朝向。图8A示出用照相机进行测量时的位置和朝向。图8B示出当在不执行校正的情况下移动机器人本体时的位置和朝向。图8C示出当在执行校正的情况下移动机器人本体时的位置和朝向。
图9示出根据本发明的第二示例性实施例的机器人系统中所使用的组装部件和工件。
图10是示出用于在根据本发明的第二示例性实施例的机器人系统中执行坐标校准的处理的流程图。
具体实施方式
以下将参照附图详细描述本发明的各种示例性实施例、特征和方面。
在描述根据第一示例性实施例的机器人系统1之前,以下将描述本说明书中对于公式表示的定义。在本说明书中,构成机器人系统1的铰接臂20、手21、照相机3和工件6的位置和朝向(具有六个自由度)用三维坐标系表示。此外,任意两个坐标系之间的相对位置和朝向用坐标变换矩阵(齐次变换矩阵)表示。
坐标变换矩阵AHB表示从任意坐标系A朝向任意坐标系B的相对位置和朝向。坐标变换矩阵AHB也被描述为相对位置和朝向AHB。例如,在本示例性实施例中,如图1所示,参照机器人坐标系R(以下描述)工具坐标系T存在于相对位置和朝向RHT处,参照照相机坐标系V(以下描述)工件坐标系W存在于相对位置和朝向VHW处。
相对位置和朝向AHB通过使用旋转矩阵Rot和平移矢量t用公式(1)定义。
H B A = Rot t 0 0 0 1 - - - ( 1 )
参照公式(1),旋转矩阵Rot是表示三维旋转的3×3矩阵,平移矢量t是3×1三维矢量。当平移移动量的X、Y和Z分量分别被表示为tx、ty和tz,并且围绕X、Y和Z轴的旋转分量分别被表示为θx、θy和θz时,旋转矩阵Rot由公式(2)定义,平移矢量t由公式(3)定义。
Rot = Rotz · Roty · Rotx = cos θ z - sin θ z 0 sin θ z cos θ z 0 0 0 1 cos θ y 0 sin θ y 0 1 0 - sin θ y 1 cos θ y 1 0 0 0 c osθ x - sin θ x 0 sin θ x cos θ x - - - ( 2 )
t = t x t y t z - - - ( 3 )
参照公式(2),围绕X、Y和Z轴的旋转分量分别用旋转矩阵Rotx、Roty和Rotz表示。
作为坐标变换矩阵的特性,任意坐标系A、B与C之间的关系由公式(4)给出。
AHCAHB·BHC               (4)
具体地讲,通过将坐标系B相对于坐标系A的相对位置和朝向AHB乘以坐标系C相对于坐标系B的相对位置和朝向BHC,可以获得坐标系C相对于坐标系A的相对位置和朝向AHC
为了获得坐标系A相对于坐标系B的相对位置和朝向BHA,使用公式(5)计算逆矩阵。
BHA=(AHB)-1              (5)
为了基于包括平移移动量的各个分量和围绕各个轴的旋转分量的矢量(tx,ty,tzxyz)来获得坐标变换矩阵AHB,实质上有必要通过使用公式(1)至(3)来表示它。然而,在本说明书中,仅通过使用H(tx,ty,tzxyz)用公式(6)来表示它。
H(tx,ty,tz,θx,θy,θz)=AHB            (6)
类似地,用于基于坐标变换矩阵AHB获得包括平移移动量的各个分量和围绕各个轴的旋转分量的矢量(tx,ty,tzxyz)的逆变换公式用公式(7)中的pose(AHB)表示,而不是使用公式(1)至(3)的表示来表示。
pose(AHB)=(tx,ty,tz,θx,θy,θz)         (7)
(其中,-180[deg]<θxyz<180[deg])
在用pose(AHB)的变换中,当θy等于±90[deg]时,尽管不能唯一地获得解,但是要计算多个解之一。在本示例性实施例中,坐标变换矩阵的目标范围存在于关于机器人本体2的运动误差的小角度范围内。因此,因为θy等于±90[deg]非常罕见,所以不能唯一地获得解的上述情况的影响非常小。
以下描述根据本示例性实施例的机器人系统1。
如图1所示,机器人系统1包括机器人本体2、设置在机器人本体2上的单目照相机(视觉传感器)3、和控制设备4,机器人本体2具有铰接臂20和手(末端执行器)21,控制设备4用于控制机器人本体2的位置和朝向。
铰接臂20(以下称之为臂)被固定到基座5。用于表示臂20的位置和朝向的机器人坐标系R参照基座5被设置到基座5。工件6被安装在基座5上。工件坐标系W参照工件6被设置到工件6。
臂20是设有七个连杆和用于摆动地或旋转地连接各个连杆的六个关节的六轴垂直铰接臂20。尽管在本示例性实施例中应用六轴垂直铰接臂20,但是臂20不限于此。可以根据应用和目的适当地改变轴的数量。
每个关节设有作为输出装置的用于驱动每个关节的电机、或者根据需要设有线性致动器。每个关节设有作为输入装置的编码器、电流传感器、和扭矩传感器,编码器用于检测电机的旋转角度,电流传感器用于检测将供给每个电机的电流,扭矩传感器用于检测每个关节的扭矩。
臂20根据从控制设备4的机器人控制单元44输出的命令值驱动每个关节,以调整手21的位置和朝向。机器人控制单元44根据参照机器人坐标系R的工具坐标系T(以下描述)的相对位置和朝向RHT的目标值来计算臂20的每个关节将采取的角度,并将命令值输出到每个关节。机器人控制单元44能够从编码器获取关于每个关节的当前角度信息并计算工具坐标系T(以下描述)的当前相对位置和朝向RHT
手21在臂20的末端受到支承。手21的位置和朝向通过臂20的运动进行调整。手21设有例如能够抓握工件6的三个手指。工具坐标系T参照手21而被设置到手21。在本示例性实施例中,能够抓握工件6的手21用作末端执行器。然而,末端执行器不限于此,并且可以是例如用于通过使用除了抓握之外的方法保持工件6的机构、用于对工件6进行机器加工的工具、以及能够操作工件6的所有其他类型的末端执行器。
照相机3在臂20的末端或者在手21处受到支承。响应于来自控制设备4的照相机控制单元45的命令,照相机3捕捉图像,并将图像数据发送到照相机控制单元45。照相机坐标系(视觉传感器坐标系)V参照光轴方向以及像场的垂直方向和水平方向被设置到照相机3。在本示例性实施例中,以光轴相对于手21的纵向方向形成大约45度的角度的这样的方式,将照相机3设置为朝向手21的末端。
连接到机器人本体2的控制设备4包括用于控制机器人本体2的计算机。构成控制设备4的计算机包括例如中央处理单元(CPU)40、用于存储用于控制每个单元的程序的只读存储器(ROM)41、用于临时存储数据的随机存取存储器(RAM)42、以及使得能够与机器人本体2进行通信的输入/输出接口(I/F)电路43。
CPU40包括上述机器人控制单元44、照相机控制单元45、工件位置和朝向计算单元46、以及校准值计算单元47。
照相机控制单元45将照相机3获取的图像数据发送到控制设备4的工件位置和朝向计算单元46。工件位置和朝向计算单元46对所接收的图像数据执行图像处理以计算工件6的位置和朝向。所计算出的输出值是等同于参照照相机坐标系V的工件坐标系W的相对位置和朝向VHW的数据。
工件位置和朝向计算单元46将该处理的结果发送到校准值计算单元47。校准值计算单元47基于分别从机器人控制单元44及工件位置和朝向计算单元46获取的位置和朝向RHTVHW(也就是说,手21在机器人坐标系R中的位置和朝向RHT、以及工件6在照相机坐标系V中的位置和朝向VHW)来计算校准值。
图2是示出用于在上述机器人系统1中计算校准值、基于这些校准值执行坐标变换以计算对于机器人本体2的命令值、并将该命令值输出到机器人本体2以使手21移动到工件6、然后抓握它的处理的流程图。
在步骤S1至S3中,为了在实际上与工件6一起执行操作之前获取校准值,将多个位置和朝向组中的每个位置和朝向(命令值)设置到控制设备4,以使得机器人本体2采取多个位置和朝向。每个位置和朝向组是表示机器人本体2的工具坐标系T的多个位置和朝向的命令值RHT的集合。位置和朝向的第i设置被表示为RHT[i]。在本示例性实施例中,如图3所示,所述多个位置和朝向组包括测量位置和朝向组7、操作位置和朝向组8、以及另一个位置和朝向组。为了在步骤S6和后续步骤中的处理中获得每个校准值,在步骤S1至S3中,无论位置和朝向组的数量如何,都有必要设置至少三个不同的位置和朝向。
在步骤S1中,对于i=1至N,用户任意地将机器人本体2的N(N≥1)个位置和朝向设置为测量位置和朝向组(第一位置和朝向组)7。测量位置和朝向组7被认为是基准测量位置和朝向(第一基准位置和朝向)7a、以及围绕基准测量位置和朝向7a的预定的第一偏移范围内的周边测量位置和朝向7b的集合。
基准测量位置和朝向7a是照相机3在其比在基准操作位置和朝向8a(以下描述)更加正对着工件6的位置和朝向。基准测量位置和朝向7a是在使用照相机3测量工件6时接近测量位置和朝向的任意位置和朝向。具体地讲,例如,用户可以使用由使用机器人本体2的控制程序设置的测量位置和朝向、以及机器人本体2在其实际上被示教以测量工件6的测量位置和朝向。
使用照相机3测量工件6时的测量位置和朝向是例如照相机3在其正对着工件6并且能够以小的误差测量工件6的特征形状和标记的位置和朝向。例如,如图4A所示,工件6被假定为包括具有矩形形状的主体6a和具有圆柱形形状的突起6b。在这种情况下,测量位置和朝向可以是这样的位置和朝向,在该位置和朝向,突起6b的突出方向与照相机3的光轴一致,以使得主体6a的旋转方向和突起6b的位置同时被测量。
期望地考虑使得能够相对于基准测量位置和朝向7a对机器人本体2进行精细调整的宽度来设置周边测量位置和朝向7b相对于基准测量位置和朝向7a的第一偏移范围。例如,如图5中的表所示,用户对于基准测量位置和朝向7a的位置和朝向的六个自由度中的每个定义偏移值,并将这些偏移值设置为周边测量位置和朝向7b。然后,用户在控制设备4的RAM42中将每个偏移值描述为将测量位置和朝向组7中的每个位置和朝向设置到控制设备4的控制程序。该设置范围是第一偏移范围。
在这种情况下,例如,为了使得照相机3实际上测量工件6更加容易,用户将通过移动机器人本体2向机器人本体2示教的基准测量位置和朝向7a设置为测量位置和朝向RHT MPose。在这种情况下,用于从测量位置和朝向RHT MPose(基准测量位置和朝向7a)起调整机器人本体2的位置和朝向的可调整范围分别被假定为大约±2[mm]和5[deg]。在这种情况下,用户把对测量位置和朝向RHT MPose分别添加了在±2[mm]和±5[deg]范围内的偏移值的多个位置和朝向设置为周边测量位置和朝向7b。
当偏移值(dx[i],dy[i],dz[i],dθx[i],dθy[i],dθz[i])与测量位置和朝向RHT MPose(基准测量位置和朝向7a)相加时,用公式(8)表示第i个位置和朝向RHT[i]。
H T R [ i ] = H T MPose R &CenterDot; H ( dx [ i ] , dy [ i ] , dz [ i ] , d &theta; x [ i ] , d&theta; y [ i ] , d&theta; z [ i ] ) - - - ( 8 )
(i=1,2,...,N)
用户不必将上述预设的第一偏移范围作为控制程序存储在控制设备4中。例如,用户可以通过实际上移动机器人本体2用示教操纵台向机器人控制单元44示教每个位置和朝向。
在步骤S2中,对于i=N+1至M,用户将机器人本体2的M–N(M-N≥2)个位置和朝向设置为操作位置和朝向组(第二位置和朝向组)8。如图3所示,操作位置和朝向组8被认为是基准操作位置和朝向(第二基准位置和朝向)8a、以及围绕基准操作位置和朝向8a的预定的第二偏移范围中的周边操作位置和朝向8b的集合。
基准操作位置和朝向8a是不同于基准测量位置和朝向7a的位置和朝向,在该位置和朝向,手21比在基准操作位置和朝向7a更加正对着工件6。基准操作位置和朝向8a是接近当对工件6执行操作时所使用的操作位置和朝向的位置和朝向。具体地讲,用户可以使用在使用机器人本体2的控制程序中所设置的机器人本体2的操作位置和朝向、以及实际上向机器人本体2示教以对工件6执行操作的操作位置和朝向。
当通过使用照相机3对工件6执行操作时所使用的操作位置和朝向是例如手21在其能够抓握工件6、同时正对着工件6的抓握部分的位置和朝向。例如,如图4B所示,当工件6设有主体6a和突起6b时,相关的操作位置和朝向是手21抓握突起6b的位置和朝向。在这种情况下,用户设置工具坐标系T和工件坐标系W,以使得当手21抓握工件6的突起6b时,手21的工具坐标系T与工件6的工件坐标系W一致。
周边操作位置和朝向8b相对于基准操作位置和朝向8a的第二偏移范围是与第一偏移范围分离的范围、或者其一部分与第一偏移范围重叠、而另一部分不与第一偏移范围重叠的范围。换句话讲,第一偏移范围和第二偏移范围可以部分重叠,或者可以不彼此重叠。这两个偏移范围彼此不完全一致。此外,任何一个偏移范围均不包括在另一个偏移范围中。
期望地考虑可由安装在基座5上的工件6采取的位置和朝向误差的范围来设置第二偏移范围。例如,如图5中的表所示,对于基准操作位置和朝向8a的位置和朝向,用户对于六个自由度中的每个定义偏移值,并将这些偏移值设置为周边操作位置和朝向8b。然后,用户在控制设备4的RAM42中将每个偏移值描述为将操作位置和朝向组8的每个位置和朝向设置到控制设备4的控制程序。该设置范围是第二偏移范围。
在这种情况下,例如,当工件6存在于在结构上理想的位置处时机器人本体2的基准操作位置和朝向8a被假定为RHT WPose。在这种情况下,当根据工件6在基准操作位置和朝向8a的周边的位置和朝向误差对机器人本体2的运动进行校正时工具坐标系T的波动范围分别大约为±5[mm]和±10[deg]。在这种情况下,用户把对RHT WPose分别添加有作为预定的第二偏移范围的±5[mm]和±10[deg]范围内的偏移值的多个位置和朝向设置为操作位置和朝向组8。
因此,第一偏移范围和第二偏移范围是例如几毫米和几度。因此,与测量位置和朝向组7与操作位置和朝向组8之间的位置和朝向的差值(几厘米至几十厘米以及几度至几十度)相比,每个偏移范围提供小的波动范围。
如上所述,第一偏移范围设置和第二偏移范围设置小于基准测量位置和朝向7a与基准操作位置和朝向8a之间的差值。具体地讲,在相互极大分离的测量位置和朝向组7以及操作位置和朝向组8中的每个中,通过窄范围内的操作来计算校正值。与例如仅使用测量位置和朝向组7的位置和朝向来执行坐标校准的情况相比,这改进了坐标校准的准确度。
当偏移值(dx[i],dy[i],dz[i],dθx[i],dθy[i],dθz[i])与RHT WPose(基准操作位置和朝向8a)相加时,用公式(9)表示第i个位置和朝向RHT[i]。
H T R [ i ] = H T MPose R &CenterDot; H ( dx [ i ] , dy [ i ] , dz [ i ] , d &theta; x [ i ] , d&theta; y [ i ] , d&theta; z [ i ] ) - - - ( 9 )
(i=N+1,N+2,...,M)
在步骤S3中,对于i=M+1至L,用户任意地将机器人本体2的L-M(L-M≥1)个位置和朝向设置为另一个位置和朝向组。除了上述测量位置和朝向组7以及操作位置和朝向组8之外,还设置另一个位置和朝向组使得能够高度精确地计算基本校准值(以下描述)。然而,不必总是除了测量位置和朝向组7以及操作位置和朝向组8之外还设置另一个位置和朝向组。需要至少两个位置和朝向组。因此,用户可以仅设置测量位置和朝向组7以及操作位置和朝向组8,设置四个或更多个位置和朝向组,以及设置除了测量位置和朝向组7以及操作位置和朝向组8之外的两个组。
在步骤S4中,如图3所示,用户将校准板(基准构件)10安装在公共视场中,当机器人本体2采取在每个位置和朝向组中设置的多个位置和朝向时,该公共视场共同地包括在照相机3的测量区域中。校准板10是例如其上有显示预定大小的多个(至少3个)圆形图案10a和10b的平面板。照相机3可以测量具有六个自由度的校准板10的位置和朝向。
校准板10的多个圆形图案中仅有一个是被放置在拐角处的中空圆形图案10a,其他圆形图案是实心圆形图案10b。中空圆形图案10a的存在提供关于一个点的完全不对称布置,并且使得能够唯一地识别具有六个自由度的校准板10的位置和朝向。校准板坐标系P参照校准板10被设置到校准板10。
校准板10提供的图案不限于圆形图案,并且可以是例如线性栅格图案。此外,当照相机3如立体照相机那样能够执行三维测量时,不仅平面校准板10,而且具有立方体形状的对象也可以用作用于校准的基准构件。此外,例如,用作操作目标的实际工件6也可以用作基准构件。
然后,如图6所示,作为命令值,机器人控制单元44将每个位置和朝向组中设置的总共L个位置和朝向输出到机器人本体2以顺序地定位机器人本体2。在步骤S5中,在每个位置和朝向,照相机3测量校准板10,并将测量值存储在RAM42中。机器人控制单元44重复该处理(第一测量步骤和第二测量步骤)。通过该操作获得的测量值是当机器人本体2被定位在第i个位置和朝向时参照照相机坐标系V的校准板坐标系P的位置和朝向信息。相关的测量值被称为VHP[i]。
在步骤S6中,基于位置和朝向RHT[i]以及测量值VHP[i],机器人控制单元44计算照相机坐标系V与工具坐标系T之间的关系VHT、以及机器人坐标系R与校准板坐标系P之间的关系RHP作为基本校准值(基本校准值计算步骤)。因为照相机3与手21之间的相对位置以及机器人本体2与校准板10之间的相对位置分别是固定的,所以无论机器人本体2的位置和朝向如何,上述关系VHTRHP都是固定的。因此,当照相机3没有测量误差并且机器人本体2没有运动误差时,对于每个位置和朝向给出公式(10)。
H P V [ i ] = H T V &CenterDot; ( H T R [ i ] ) - 1 &CenterDot; H P R - - - ( 10 )
(i=1,2,...,L)
当已经对于所有的L个位置和朝向获取数据时,可以推导L个公式(10)。因为测量误差和运动误差包括在实际获得的数据中,所以机器人控制单元44通过误差最小化计算来计算关系VHTRHP的用于使L个数据集上的误差(残差)最小化的值,并获取这些值作为基本校准值。所计算出的基本校准值被称为VHT calRHP cal。用于计算基本校准值VHT calRHP cal的方法类似于已知的手眼校准方法(参照例如Hand-Eye Calibration(Radu Horaud和FadiDornaika,1995)),将省略它们的详细描述。
在步骤S6中计算基本校准值VHT calRHP cal,以使得对于所有的L个位置和朝向的误差估计值最小。然而,因为具有至少一个自由度的误差通常被添加到机器人本体2的运动,所以位置和朝向误差不变为零。因此,在步骤S7中,机器人控制单元44对于属于测量位置和朝向组7以及操作位置和朝向组8的M个位置和朝向来计算基本校准值中所剩有的残差。
以下描述用于在考虑图7中所示的误差的情况下参照每个坐标系的布置来计算残差的处理。参照固定到空间(基座5)的校准板坐标系P,当命令值RHT[i]被给予机器人本体2时,从基本校准值RHP cal预测的、在校准板坐标系P与工具坐标系T之间的关系PHT predict[i]用公式(11)表示。
H T predict P [ i ] = ( H P cal R ) - 1 &CenterDot; H T R [ i ] - - - ( 11 )
(i=1,2,...,M)
用照相机3测量的在校准板坐标系P与工具坐标系T之间的关系PHT measure[i]用公式(12)表示。
H T measure P [ i ] = ( H P measure V ) - 1 &CenterDot; H T cal V - - - ( 12 )
(i=1,2,...,M)
因为在机器人本体2的运动中存在具有至少一个自由度的误差,所以关系PHT predict[i]和PHT measure[i]不严格地彼此一致。当在对于预测存在误差的情况下工具坐标系T移动到工具坐标系T'时,通过公式(13)将基本校准值的残差计算为工具误差THT’ err[i]。
(i=1,2,...,M)
因为工具误差THT’ err[i]相对于机器人本体2的位置和朝向连续地改变,所以机器人本体2的较近的位置和朝向将生成相对较小的工具误差THT’ err[i]。因此,就获得了位置和朝向组7和8中的典型的工具误差THT’ err[i]。
在步骤S8中,机器人控制单元44计算测量位置和朝向组7中的典型的工具误差THT’ MPose作为用于基本校准值的测量校正值(第一校正值)(第一校正值计算步骤)。作为用于计算测量校正值THT’ MPose的方法,机器人控制单元44设置随工具误差THT’ err[i]与测量校正值THT’ MPose之间的差值增大而增大的残差评价值F,并设置测量校正值THT’ MPose以使得残差评价值F最小。用于定义残差评价值F的方法没有限制。具体地讲,例如,可以使用公式(14)的定义作为残差评价值F。
不仅可以使用公式(14),而且还可以使用例如公式(15)的定义。
在公式(15)的情况下,因为测量校正值THT’ MPose被确定为使得pose(THT’ MPose)的每个分量变为pose(THT’ err[i])的分量的平均值,所以容易计算残差评价值F。
在公式(14)和(15)二者的情况下,如公式(16)所表示的,当残差评价值F最小化时的测量校正值THT’ MPose用作测量位置和朝向组7的典型的测量校正值(误差值)。
F→min                       (16)
在步骤S9中,机器人控制单元44计算操作位置和朝向组8中的典型的误差值THT, WPose作为用于基本校准值的操作校正值(第二校正值)(第二校正值计算步骤)。作为用于计算操作校正值THT’ WPose的方法,用户设置随工具误差THT’ err[i]与操作校正值THT’ WPose之间的差值增大而增大的残差评价值G,并设置操作校正值THT’ WPose以使得残差评价值G最小化。用于定义残差评价值G的方法没有限制。具体地讲,例如,可以使用公式(17)的定义作为残差评价值G。
在公式(17)的情况下,因为操作校正值THT’ WPose被确定为使得pose(THT’ WPose)的每个分量变为pose(THT’ err[i])的分量的平均值,所以容易计算残差评价值G。如公式(18)所表示的,当残差评价值G最小化时的操作校正值THT’ WPose用作操作位置和朝向组8的典型的操作校正值(误差值)。
G→min                      (18)
在如上所述获取作为校准参数的基本校准值、测量校正值和操作校正值之后,控制设备4测量实际工件6。以下描述如图8A、8B和8C所示的情况,即,用户将机器人本体2定位在测量位置和朝向RHT MPose,通过使用照相机3测量工件6,移动机器人本体2以使工具坐标系T和工件坐标系W匹配,并使手21抓握工件6。
首先,如图8A所示,机器人控制单元44将机器人本体2移动到测量位置和朝向RHT MPose。在步骤S10中,照相机控制单元45使照相机3测量工件6,工件位置和朝向计算单元46获得测量值VHW measure(工件测量步骤)。
在步骤S11中,基于基本校准值、测量校正值和操作校正值,机器人控制单元44对测量值VHW measure执行从照相机坐标系V到机器人坐标系R的坐标变换,并计算命令值。在这种情况下,机器人控制单元44执行以下过程。
首先,如果在机器人本体2上不存在误差,则工件6在机器人坐标系R中的位置和朝向用RHT MPose(VHT cal)-1·VHW measure表示。然而,因为机器人本体2的实际位置和朝向包括作为误差的测量位置和朝向组7的测量校正值THT’ MPose,所以工件6在机器人坐标系R中的位置和朝向RHW measure用公式(19)表示。
然后,基于工件6在机器人坐标系R中的位置和朝向RHW measure,机器人控制单元44使手21靠近工件6。如图8B所示,当机器人控制单元44通过使用位置和朝向RHW measure作为命令值来控制机器人本体2时,机器人本体2包括作为误差的操作位置和朝向组8的操作校正值THT’ WPose。因此,机器人本体2移动到操作校正值THT’ WPose被包括作为误差的位置(图8B中所示的实线)。为了以高准确度使工具坐标系T和工件坐标系W匹配,机器人控制单元44将工件6的位置和朝向RHW measure乘以操作校正值THT’ WPose的逆变换公式。然后,机器人控制单元44通过使用公式(20)来计算将发送到机器人本体2的命令值RHT WCorrect
当公式(19)被赋值给公式(20)时,可以获得包括校准参数的最终命令值RHT WCorrect,如公式(21)所表示那样。在本示例性实施例中,机器人控制单元44通过公式(21)的计算来执行坐标变换步骤、命令值计算步骤、用于计算测量校准值的第一计算步骤、以及用于计算操作校准值的第二计算步骤。
公式(21)通过照原样使用基本校准值、测量校正值以及操作校正值来计算命令值。在这种情况下,可以用基于基本校准值和测量校正值来计算测量校准值(第一校准值)并基于基本校准值和操作校正值来计算操作校准值(第二校准值)的另一个公式来取代公式(21)。具体地讲,可以用通过使用两个校准值(即,测量校准值和操作校准值)计算命令值的另一个公式来取代公式(21)。
当对工件6执行操作时,机器人控制单元44基于测量值VHW measure和校准参数来计算对于机器人本体2的新的命令值,并且然后激活机器人本体2。在步骤S12中,如图8C所示,机器人控制单元44通过公式(21)的计算来计算命令值RHT WCorrect,并将命令值RHT WCorrect输出到机器人本体2以使机器人本体2靠近工件6(运动步骤)。该步骤消除了每个位置和朝向组中的误差,使手21以高准确度靠近工件6,并以高准确度使工具坐标系T和工件坐标系W匹配,这实现手21对于工件6的高准确度抓握。
如上所述,在根据本示例性实施例的机器人系统1中,机器人控制单元44基于三个位置和朝向组的所有位置和朝向来计算基本校准值,并基于这三个组中的测量位置和朝向组7以及操作位置和朝向组8的位置和朝向来计算校正值。然后,机器人控制单元44通过使用基本校准值、测量校正值和操作校正值来执行坐标校准,并计算命令值。与仅使用测量位置和朝向组7的位置和朝向来执行坐标校准的情况相比,这改进了坐标校准的准确度。因此,可以改进机器人本体2运动期间的位置和朝向控制的准确度。
此外,即使在用通过使用两个校准值(测量校准值和操作校准值)来计算命令值的另一个公式取代公式(21)的情况下,也可以通过使用多个校准值来执行坐标校准。与例如通过使用主要基于测量位置和朝向计算的一个校准值来执行坐标校准的情况相比,这改进了坐标校准的准确度。
此外,在根据本示例性实施例的机器人系统1中,用户把如图5中的表所示那样预定义的偏移值设置到控制设备4,并通过在所有位置和朝向使用照相机3来捕捉校准板10的图像。因此,与操作者向机器人本体2示教测量位置和朝向至操作位置和朝向的情况相比,范围为从校准板10的成像到这种方式的校准值的计算的自动操作可以缩短操作时间,并且防止所获取的校准值的准确度变化。
上述公式(21)通过照原样使用基本校准值、测量校正值和操作校正值来计算命令值。然而,用于计算命令值的方法不限于此。还可以基于基本校准值和测量校正值来计算测量校准值(第一校准值),基于基本校准值和操作校正值来计算操作校准值(第二校准值),并通过使用这两个校准值(即,测量校准值和操作校准值)来计算命令值。
在这种情况下,用于计算基本校准值的步骤S6、用于计算残差的步骤S7、用于计算测量校正值的步骤S8、以及用于计算测量校准值的步骤S11构成第一校准值计算步骤。此外,用于计算基本校准值的步骤S6、用于计算残差的步骤S7、用于计算操作校正值的步骤S9、以及用于计算操作校准值的步骤S11构成第二校准值计算步骤。可以通过使用基于两个位置和朝向组7和8的位置和朝向计算出的多个校准值来执行坐标校准。与例如使用主要基于测量位置和朝向计算出的一个校准值来执行坐标校准的情况相比,这改进了坐标校准的准确度。
以下描述根据本发明的第二示例性实施例的机器人系统1。在本示例性实施例中,机器人系统1的硬件配置类似于第一示例性实施例中的硬件配置,并且等同于第一示例性实施例中的组件的组件被分配相同的附图标记并省略它们的描述。
在本示例性实施例中,如图9所示,将使用可以被组装到第一示例性实施例中所使用的工件6的组装部件16。抓握对象坐标系S参照组装部件16被设置到组装部件16。
以下参照图10中所示的流程图描述根据第二示例性实施例的用于使抓握对象坐标系S和工件坐标系W匹配以移动机器人本体2以便将组装部件16装入上述机器人系统1中的工件6中的处理。假定已经通过类似于第一示例性实施例的过程获取了基本校准值、测量校正值和操作校正值。
在步骤S21中,机器人控制单元44使手21抓握组装部件16,照相机控制单元45使照相机3测量组装部件16(组装部件测量步骤)。如果手21在固定状态下抓握组装部件16,则工具坐标系T和抓握对象坐标系S整体地移动,并且可以在机器人本体2的任意位置和朝向用照相机3测量组装部件16。
通过该测量,工件位置和朝向计算单元46获得组装部件16在照相机坐标系V中的位置和朝向VHS measure,并通过使用公式(22)基于基本校准值VHT cal获得工具坐标系T与抓握对象坐标系S之间的相对位置和朝向THS measure
H S measure T = ( H T cal V ) - 1 &CenterDot; H S measure V - - - ( 22 )
在步骤S22中,机器人控制单元44将机器人本体2移动到测量位置和朝向,并通过使用照相机3测量工件6(工件测量步骤)以获得工件6在机器人坐标系R中的位置和朝向RHW measure。该步骤中的测量类似于第一示例性实施例中的步骤S10中的测量。通过如公式(19)那样在考虑测量校正值THT’ MPose的情况下使用公式(23)来计算位置和朝向RHW measure
在步骤S23中,基于基本校准值、测量校正值和操作校正值,机器人控制单元44对测量值VHS measure和测量值VHW measure执行从照相机坐标系V到机器人坐标系R的坐标变换,并计算命令值。在这种情况下,机器人控制单元44执行以下过程。
首先,为了在考虑工具坐标系T与抓握对象坐标系S之间的关系的情况下将抓握对象坐标系S重叠到工件坐标系W上,机器人控制单元44通过使用公式(24)来获得工具坐标系T将被移动到的目标位置和朝向RHT target
H T t arg et R = H W measure R &CenterDot; ( H S measure T ) - 1 - - - ( 24 )
如果公式(22)和(23)被赋值给公式(24),则如公式(25)所表示的那样,可以获得目标位置和朝向RHT target
然而,如果工具坐标系T将被移动到的目标位置和朝向RHT target被用作命令值,则操作校正值THT’ WPose将被作为误差包括在内。因此,为了将机器人本体2的工具坐标系T移动到目标位置和朝向RHT target,将发送到机器人本体2的命令值RHT WCorrect2用公式(26)表示,以使得作为误差的操作校正值THT’ WPose被消除。
如果公式(25)被赋值给公式(26),则如公式(27)所表示的那样,可以获得包括校准值的最终命令值RHT target。在本示例性实施例中,机器人控制单元44通过公式(27)的计算来执行组装坐标变换步骤、组装命令值计算步骤、第一计算步骤、和第二计算步骤。
公式(27)通过照原样使用基本校准值、测量校正值和操作校正值来计算命令值。在这种情况下,类似于第一示例性实施例,可以用基于基本校准值和测量校正值来计算测量校准值并基于基本校准值和操作校正值来计算操作校准值的另一个公式来取代公式(27)。具体地讲,可以用通过使用两个校准值(即,测量校准值和操作校准值)来计算命令值的另一个公式来取代公式(27)。
当将组装部件16组装到工件6时,机器人控制单元44基于测量值THS measure、测量值VHW measure和校准参数来计算对于机器人本体2的新的命令值,然后激活机器人本体2。在步骤S24中,机器人控制单元44通过公式(27)的计算来计算命令值RHT WCorrect2,并将命令值RHT WCorrect2输出到机器人本体2以使机器人本体2将组装部件16移动到工件6(运动步骤)。该步骤消除每个位置和朝向组中的误差,使组装部件16以高准确度靠近工件6,并以高准确度使抓握对象坐标系S和工件坐标系W匹配,这实现组装部件16对于工件6的高度准确的组装工作。
如上所述,在根据本示例性实施例的机器人系统1中,机器人控制单元44测量组装部件16和工件6二者。因此,即使组装部件16和工件6二者的位置和朝向以高频率变化,也可以在不执行手动调整的情况下执行高准确度的组装。
在根据本示例性实施例的机器人系统1中,给出了被手21抓握的组装部件16靠近工件6的情况的描述。然而,机器人系统1的操作不限于此,可以以附连到作为末端执行器的臂20的末端的诸如钻头之类的工具靠近工件6的这样的方式来执行。
根据第一示例性实施例和第二示例性实施例的机器人系统1被描述为使用单目照相机3作为视觉传感器。然而,视觉传感器不限于此,并且可以是例如立体照相机或激光扫描仪。当使用例如激光扫描仪时,机器人控制单元44使用激光扫描仪来测量工件6,照相机控制单元45获取测量的结果作为三维测量点组数据。然后,工件位置和朝向计算单元46执行三维测量点组数据与三维计算机辅助设计(CAD)模型之间的匹配,并计算工件6的位置和朝向。
根据第一示例性实施例和第二示例性实施例的上述处理和操作实际上由控制设备4执行。因此,存储用于实现上述功能的软件程序的记录介质可以被提供给控制设备4,以使得控制设备4的CPU40读取存储在该记录介质中的程序,并然后执行它以实现上述处理和操作。在这种情况下,从该记录介质读取的程序本身实现上述示例性实施例的功能,并且该程序本身和存储该程序的记录介质将构成根据本发明的示例性实施例的机器人系统1。
尽管在上述示例性实施例中,程序被描述为将被存储在作为计算机可读记录介质的ROM41中,但是记录介质不限于此。程序可以被存储在任何类型的计算机可读记录介质(诸如硬盘驱动器(HDD)、外部存储装置和记录盘等)中。
根据本发明的示例性实施例,基于至少两个位置和朝向组的位置和朝向来计算校准值,并通过至少使用至少两个校准值来操作机器人本体。因为可以使用基于多个位置和朝向组计算出的多个校准值,所以与通过使用主要基于工件的测量位置和朝向计算出的一个校准值来执行坐标校准的情况相比,可以改进坐标校准的准确度。因此,可以改进机器人本体运动期间的位置和朝向控制的准确度。此外,因为不需要手动示教操作,所以可以防止校准操作时间的增加并且防止准确度根据操作者的技能水平而变化。
尽管已经参照示例性实施例描述了本发明,但是要理解本发明不限于所公开的示例性实施例。所附权利要求的范围要被赋予最广泛的解释,以便包含所有这样的修改以及等同的结构和功能。

Claims (10)

1.一种机器人系统,包括:
机器人本体,包括铰接臂和由所述铰接臂支承的末端执行器;
视觉传感器,被设置在所述机器人本体上;以及
控制设备,被配置为控制所述机器人本体的位置和朝向并通过使用经由所述视觉传感器测量的测量值来计算工件的位置和朝向,
其中,所述控制设备执行以下处理:
在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测量基准构件,所述第一位置和朝向组包括所述机器人本体的第一基准位置和朝向、以及所述机器人本体在围绕第一基准位置和朝向的第一偏移范围内的位置和朝向;
通过使用在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算第一校准值;
在第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测量所述基准构件,所述第二位置和朝向组包括所述机器人本体的不同于第一基准位置和朝向的第二基准位置和朝向、以及所述机器人本体在围绕第二基准位置和朝向的第二偏移范围内的位置和朝向,所述第二偏移范围是与第一偏移范围分离的范围,或者是其一部分与第一偏移范围重叠、而另一部分不与第一偏移范围重叠的范围;
通过使用在第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算第二校准值;
经由所述视觉传感器测量所述工件;以及
通过使用第一校准值和第二校准值来激活所述机器人本体。
2.根据权利要求1所述的机器人系统,其中,所述第一基准位置和朝向是视觉传感器在其处比在第二基准位置和朝向处更正对着所述工件的位置和朝向。
3.根据权利要求1所述的机器人系统,其中,所述第二基准位置和朝向是末端执行器在其处比在第一基准位置和朝向处更正对着所述工件的位置和朝向。
4.根据权利要求1所述的机器人系统,其中,所述控制设备进一步执行以下处理:
通过使用在第一位置和朝向组以及第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算基本校准值;
通过使用在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算用于基本校准值的第一校正值;
基于第一校正值和基本校准值来计算第一校准值;
通过使用在第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算用于所述基本校准值的第二校正值;以及
基于第二校正值和基本校准值来计算第二校准值。
5.根据权利要求1所述的机器人系统,
其中,要被组装到所述工件的组装部件被所述末端执行器抓握,并且所述工件由支承所述铰接臂的基座支承,并且
其中,所述控制设备进一步执行以下处理:
经由所述视觉传感器测量所述组装部件;
通过使用第一校准值和第二校准值对所述组装部件的测量值和所述工件的测量值执行从视觉传感器的坐标系到机器人本体的坐标系的坐标变换;以及
通过使用已经过所述坐标变换的所述组装部件的测量值和所述工件的测量值,来计算用于移动所述机器人本体以使得所述组装部件被组装到所述工件的命令值。
6.一种用于控制机器人系统的方法,所述机器人系统包括:
机器人本体,包括铰接臂和由所述铰接臂支承的末端执行器;
视觉传感器,被设置在所述机器人本体上;以及
控制设备,被配置为控制所述机器人本体的位置和朝向并通过使用经由所述视觉传感器测量的测量值来计算工件的位置和朝向,
所述方法包括:
使所述控制设备在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测量基准构件,所述第一位置和朝向组包括所述机器人本体的第一基准位置和朝向、以及所述机器人本体在围绕第一基准位置和朝向的第一偏移范围内的位置和朝向;
使所述控制设备通过使用在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算第一校准值;
使所述控制设备在第二位置和朝向组的每个位置和朝向处经由视觉传感器测量所述基准构件,所述第二位置和朝向组包括所述机器人本体的不同于第一基准位置和朝向的第二基准位置和朝向、以及所述机器人本体在围绕第二基准位置和朝向的第二偏移范围内的位置和朝向,所述第二偏移范围是与第一偏移范围分离的范围,或者是其一部分与第一偏移范围重叠、而另一部分不与第一偏移范围重叠的范围;
使所述控制设备通过使用在第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算第二校准值;
使所述控制设备经由所述视觉传感器测量所述工件;以及
使所述控制设备通过使用第一校准值和第二校准值来激活所述机器人本体。
7.根据权利要求6所述的方法,其中,所述第一基准位置和朝向是所述视觉传感器在其处比在第二基准位置和朝向处更正对着所述工件的位置和朝向。
8.根据权利要求6所述的方法,其中,所述第二基准位置和朝向是所述末端执行器在其处比在第一基准位置和朝向处更正对着所述工件的位置和朝向。
9.根据权利要求6所述的方法,还包括:
使所述控制设备通过使用在第一位置和朝向组以及第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算基本校准值;
使所述控制设备通过使用在第一位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算用于所述基本校准值的第一校正值;
使所述控制设备基于第一校正值和基本校准值来计算第一校准值;
使所述控制设备通过使用在第二位置和朝向组的每个位置和朝向处经由所述视觉传感器测得的所述基准构件的测量值来计算用于所述基本校准值的第二校正值;以及
使所述控制设备基于第二校正值和基本校准值来计算第二校准值。
10.根据权利要求6所述的方法,
其中,要被组装到所述工件的组装部件被所述末端执行器抓握,并且所述工件由支承所述铰接臂的基座支承,
所述方法还包括:
使所述控制设备经由所述视觉传感器测量所述组装部件;
使所述控制设备通过使用第一校准值和第二校准值来对所述组装部件的测量值和所述工件的测量值执行从视觉传感器的坐标系到机器人本体的坐标系的坐标变换;以及
使所述控制设备通过使用已经过所述坐标变换的所述组装部件的测量值和所述工件的测量值,来计算用于移动所述机器人本体以使得所述组装部件被组装到所述工件的命令值。
CN201410050567.XA 2013-02-14 2014-02-14 机器人系统和用于控制该机器人系统的方法 Active CN103991078B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013026158A JP6108860B2 (ja) 2013-02-14 2013-02-14 ロボットシステム及びロボットシステムの制御方法
JP2013-026158 2013-02-14

Publications (2)

Publication Number Publication Date
CN103991078A true CN103991078A (zh) 2014-08-20
CN103991078B CN103991078B (zh) 2017-03-01

Family

ID=50033357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410050567.XA Active CN103991078B (zh) 2013-02-14 2014-02-14 机器人系统和用于控制该机器人系统的方法

Country Status (4)

Country Link
US (1) US9221176B2 (zh)
EP (1) EP2767370A3 (zh)
JP (1) JP6108860B2 (zh)
CN (1) CN103991078B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
CN107871328A (zh) * 2016-09-28 2018-04-03 康耐视公司 机器视觉系统和机器视觉系统实现的校准方法
CN108025435A (zh) * 2015-07-17 2018-05-11 艾沛克斯品牌公司 具有自动校准的视觉系统
CN108942929A (zh) * 2018-07-10 2018-12-07 广州供电局有限公司 基于双目立体视觉的机械臂定位抓取的方法及装置
CN110421562A (zh) * 2019-07-24 2019-11-08 中国地质大学(武汉) 基于四目立体视觉的机械臂标定系统和标定方法
CN110480642A (zh) * 2019-10-16 2019-11-22 遨博(江苏)机器人有限公司 工业机器人及其利用视觉标定用户坐标系的方法
CN112428264A (zh) * 2020-10-26 2021-03-02 中国计量大学 一种机器人臂的矫正方法及系统
CN113634635A (zh) * 2021-07-26 2021-11-12 上海发那科机器人有限公司 一种机器人弯管坐标系标定方法、计算机设备及存储介质
TWI797244B (zh) * 2018-01-30 2023-04-01 美商布魯克斯自動機械美國公司 基板輸送設備及方法

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN103687702B (zh) * 2011-06-29 2016-08-24 三菱电机株式会社 部件供给装置
JP6309220B2 (ja) * 2013-08-12 2018-04-11 株式会社ダイヘン 搬送システム
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人系统的自动标定方法
CN105091807B (zh) * 2014-04-30 2017-12-01 鸿富锦精密工业(深圳)有限公司 机器人工具坐标系的校正方法
JP6416560B2 (ja) * 2014-09-11 2018-10-31 株式会社デンソー 位置決め制御装置
DE102014115748A1 (de) * 2014-10-29 2016-05-04 Tutech Innovation Gmbh System und Verfahren zur Bearbeitung von Bauteilen
JP6507792B2 (ja) * 2015-03-30 2019-05-08 セイコーエプソン株式会社 ロボットおよびロボットシステム
WO2016079967A1 (en) * 2014-11-21 2016-05-26 Seiko Epson Corporation Robot and robot system
JP6565175B2 (ja) * 2014-11-21 2019-08-28 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP6126067B2 (ja) * 2014-11-28 2017-05-10 ファナック株式会社 工作機械及びロボットを備えた協働システム
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
EP3277468A4 (en) * 2015-04-02 2019-10-16 ABB Schweiz AG METHOD FOR COMMISSIONING AN INDUSTRIAL ROBOT, INDUSTRIAL ROBOT SYSTEM AND CONTROL SYSTEM USING THE SAME
JP6700669B2 (ja) * 2015-04-07 2020-05-27 キヤノン株式会社 制御方法、ロボット装置、プログラム、記録媒体、及び物品の製造方法
US10335951B2 (en) * 2015-07-29 2019-07-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, robot control apparatus, and robot system
JP6812095B2 (ja) * 2015-10-22 2021-01-13 キヤノン株式会社 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
FR3043004B1 (fr) * 2015-10-29 2017-12-22 Airbus Group Sas Procede d'orientation d'un effecteur portant un outil d'assemblage par rapport a une surface
CN107443389B (zh) * 2016-05-31 2019-12-31 发那科株式会社 机器人控制装置及机器人控制方法
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US11285609B2 (en) * 2016-11-17 2022-03-29 Fuji Corporation Working position correcting method and working robot
JP6661027B2 (ja) * 2016-11-17 2020-03-11 株式会社Fuji 作業ロボット
JP6922204B2 (ja) * 2016-12-09 2021-08-18 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US10940586B2 (en) * 2016-12-13 2021-03-09 Fuji Corporation Method for correcting target position of work robot
WO2018142582A1 (ja) * 2017-02-03 2018-08-09 三菱電機株式会社 変換係数算出装置、変換係数算出方法及び変換係数算出プログラム
US11230015B2 (en) * 2017-03-23 2022-01-25 Fuji Corporation Robot system
DE102017107593B4 (de) * 2017-04-07 2023-04-27 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Bestimmen unbekannter Transformationen
JP6880982B2 (ja) * 2017-04-21 2021-06-02 セイコーエプソン株式会社 制御装置およびロボットシステム
US11679507B2 (en) * 2017-04-26 2023-06-20 Hewlett-Packard Development Company, L.P. Robotic structure calibrations
JP7220353B2 (ja) * 2017-08-08 2023-02-10 パナソニックIpマネジメント株式会社 コントローラの情報送信方法及びエンコーダの異常検出方法
JP6886620B2 (ja) * 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム
JP6568172B2 (ja) * 2017-09-22 2019-08-28 ファナック株式会社 キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
JP6888580B2 (ja) * 2018-04-05 2021-06-16 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
US10589423B2 (en) * 2018-06-18 2020-03-17 Shambhu Nath Roy Robot vision super visor for hybrid homing, positioning and workspace UFO detection enabling industrial robot use for consumer applications
JP7131162B2 (ja) * 2018-07-20 2022-09-06 オムロン株式会社 制御システム、制御システムの制御方法、および制御システムのプログラム
EP3755970A4 (en) * 2018-09-03 2021-11-24 ABB Schweiz AG ROBOT SYSTEM MANAGEMENT METHOD AND APPARATUS
EP3620270A1 (en) * 2018-09-04 2020-03-11 Bayerische Motoren Werke Aktiengesellschaft Method and control unit for controlling an assembly robot
JP6611888B2 (ja) * 2018-09-28 2019-11-27 キヤノン株式会社 ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体
KR102561103B1 (ko) * 2018-11-16 2023-07-31 삼성전자주식회사 로봇 보정 시스템 및 그것의 보정 방법
JP7153085B2 (ja) * 2018-12-11 2022-10-13 株式会社Fuji ロボットキャリブレーションシステム及びロボットキャリブレーション方法
CN113905859B (zh) * 2019-07-12 2024-03-08 株式会社富士 机器人控制系统及机器人控制方法
US20220258352A1 (en) * 2019-07-19 2022-08-18 Siemens Ltd., China Robot hand-eye calibration method and apparatus, computing device, medium and product
CN111267092B (zh) * 2019-08-27 2022-09-02 上海飞机制造有限公司 标定机器人工具坐标系的方法和系统
US11478936B2 (en) * 2019-10-09 2022-10-25 Canon Kabushiki Kaisha Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
JP2021079507A (ja) * 2019-11-21 2021-05-27 パナソニックi−PROセンシングソリューションズ株式会社 マーカおよびロボットシステム
CN111037551B (zh) * 2019-12-05 2022-10-11 上海新时达机器人有限公司 机器人测试空间的获取方法、装置及机器人系统
CN111591474B (zh) * 2020-02-28 2021-12-07 上海航天控制技术研究所 一种航天器在轨操作系统对准式手眼标定方法
CN111741199B (zh) * 2020-06-30 2022-02-01 北京飞影科技有限公司 一种摄像画面保持方法及装置
CN115890638A (zh) * 2021-09-30 2023-04-04 台达电子工业股份有限公司 自动化机械手臂系统
WO2023102647A1 (en) * 2021-12-06 2023-06-15 University Of Manitoba Method for automated 3d part localization and adjustment of robot end-effectors
CN114310881A (zh) * 2021-12-23 2022-04-12 中国科学院自动化研究所 一种机械臂快换装置的标定方法、系统及电子设备
EP4272906A1 (en) * 2022-05-06 2023-11-08 Bayerische Motoren Werke Aktiengesellschaft Method for operating a manufacturing robot and manufacturing robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1033590A (zh) * 1987-07-28 1989-07-05 布莱阿姆青年大学 机器人误差矫正装置和方法
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法
JP2011067889A (ja) * 2009-09-25 2011-04-07 Ihi Corp キャリブレーション装置及びキャリブレーション方法
WO2011143576A2 (en) * 2010-05-14 2011-11-17 Cognex Technology And Investment Corporation System and method for robust calibration between a machine vision system and a robot
US20120143370A1 (en) * 2010-12-03 2012-06-07 Industrial Technology Research Institute Robot positioning method and calibration method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
JPH05138559A (ja) * 1991-11-20 1993-06-01 Mitsubishi Electric Corp 視覚センサ付きロボツト装置
JPH06187021A (ja) * 1992-12-15 1994-07-08 Citizen Watch Co Ltd 視覚付きロボットの座標補正方法
JPH06206186A (ja) * 1993-01-12 1994-07-26 Citizen Watch Co Ltd 視覚センサ付き水平多関節型ロボットのハンドリング精度校正法
JPH1063317A (ja) * 1996-08-13 1998-03-06 Fanuc Ltd ロボット−視覚センサシステムにおける座標系結合方法
GB9803364D0 (en) * 1998-02-18 1998-04-15 Armstrong Healthcare Ltd Improvements in or relating to a method of an apparatus for registering a robot
US6070109A (en) * 1998-03-10 2000-05-30 Fanuc Robotics North America, Inc. Robot calibration system
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP4191080B2 (ja) * 2004-04-07 2008-12-03 ファナック株式会社 計測装置
JP3946711B2 (ja) * 2004-06-02 2007-07-18 ファナック株式会社 ロボットシステム
JP4298757B2 (ja) * 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
JP4967858B2 (ja) * 2007-06-29 2012-07-04 日産自動車株式会社 カメラとロボット間のキャリブレーション方法及びその装置
US8180487B1 (en) * 2008-09-30 2012-05-15 Western Digital Technologies, Inc. Calibrated vision based robotic system
JP2010139329A (ja) * 2008-12-10 2010-06-24 Fanuc Ltd キャリブレーション用の校正治具および校正治具を備えた画像計測システム
US8135208B1 (en) * 2009-01-15 2012-03-13 Western Digital Technologies, Inc. Calibrated vision based robotic system utilizing upward and downward looking cameras
DE102009005495A1 (de) * 2009-01-21 2010-07-22 Kuka Roboter Gmbh Manipulatorsystem und Verfahren zur Kompensation einer kinematischen Abweichung eines Manipulatorsystems
JP5343609B2 (ja) * 2009-02-19 2013-11-13 富士電機株式会社 動作軌道生成装置、動作軌道生成方法、ロボット制御装置及びロボット制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1033590A (zh) * 1987-07-28 1989-07-05 布莱阿姆青年大学 机器人误差矫正装置和方法
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法
JP2011067889A (ja) * 2009-09-25 2011-04-07 Ihi Corp キャリブレーション装置及びキャリブレーション方法
WO2011143576A2 (en) * 2010-05-14 2011-11-17 Cognex Technology And Investment Corporation System and method for robust calibration between a machine vision system and a robot
US20120143370A1 (en) * 2010-12-03 2012-06-07 Industrial Technology Research Institute Robot positioning method and calibration method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108025435A (zh) * 2015-07-17 2018-05-11 艾沛克斯品牌公司 具有自动校准的视觉系统
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
CN107871328A (zh) * 2016-09-28 2018-04-03 康耐视公司 机器视觉系统和机器视觉系统实现的校准方法
CN107871328B (zh) * 2016-09-28 2021-08-24 康耐视公司 机器视觉系统和机器视觉系统实现的校准方法
US11764093B2 (en) 2018-01-30 2023-09-19 Brooks Automation Us, Llc Automatic wafer centering method and apparatus
TWI797244B (zh) * 2018-01-30 2023-04-01 美商布魯克斯自動機械美國公司 基板輸送設備及方法
CN108942929B (zh) * 2018-07-10 2020-11-27 广东电网有限责任公司广州供电局 基于双目立体视觉的机械臂定位抓取的方法及装置
CN108942929A (zh) * 2018-07-10 2018-12-07 广州供电局有限公司 基于双目立体视觉的机械臂定位抓取的方法及装置
CN110421562A (zh) * 2019-07-24 2019-11-08 中国地质大学(武汉) 基于四目立体视觉的机械臂标定系统和标定方法
CN110421562B (zh) * 2019-07-24 2024-01-30 中国地质大学(武汉) 基于四目立体视觉的机械臂标定系统和标定方法
CN110480642A (zh) * 2019-10-16 2019-11-22 遨博(江苏)机器人有限公司 工业机器人及其利用视觉标定用户坐标系的方法
CN112428264A (zh) * 2020-10-26 2021-03-02 中国计量大学 一种机器人臂的矫正方法及系统
CN112428264B (zh) * 2020-10-26 2021-12-07 中国计量大学 一种机器人臂的矫正方法及系统
CN113634635A (zh) * 2021-07-26 2021-11-12 上海发那科机器人有限公司 一种机器人弯管坐标系标定方法、计算机设备及存储介质

Also Published As

Publication number Publication date
US9221176B2 (en) 2015-12-29
JP2014151427A (ja) 2014-08-25
CN103991078B (zh) 2017-03-01
US20140229005A1 (en) 2014-08-14
JP6108860B2 (ja) 2017-04-05
EP2767370A3 (en) 2014-12-17
EP2767370A2 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
CN103991078A (zh) 机器人系统和用于控制该机器人系统的方法
JP5632036B2 (ja) Cnc工作機械の誤差を補正する装置
JP5670416B2 (ja) ロボットシステム表示装置
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
DK2796249T3 (en) Programming robots
CN104511900B (zh) 机器人校准装置及校准方法、机器人装置及其控制方法
JP4271232B2 (ja) ロボットのオフラインプログラミングを実行するための装置、方法、プログラム及び記録媒体
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
CN105509671B (zh) 一种利用平面标定板的机器人工具中心点标定方法
JP2018088250A (ja) 運動学的較正
JP2015182144A (ja) ロボットシステムおよびロボットシステムの校正方法
CN108422420A (zh) 具有学习控制功能的机器人系统以及学习控制方法
JP2015136770A (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN113001535A (zh) 机器人工件坐标系自动校正系统与方法
JP2019052983A (ja) 校正方法、および校正装置
CN112833792A (zh) 一种用于六自由度机械臂的精度标定和验证方法
JP2012101306A (ja) ロボットの校正装置および校正方法
EP1886771B1 (en) Rotation center point calculating method, rotation axis calculating method, program creating method, operation method, and robot apparatus
TW202128378A (zh) 校準方法及校準系統
CN109814434A (zh) 控制程序的校准方法及装置
JP2016159406A (ja) ロボット制御装置、ロボット制御方法及びロボットシステム
JP5531182B2 (ja) 位置決め装置のキャリブレーション方法、位置決め装置、およびこれらのためのコンピュータプログラム
WO2022025059A1 (ja) ロボットシステム
JP2015222196A (ja) 三次元測定機、及びこれを用いた形状測定方法
JP4244705B2 (ja) 回転機構付きレーザ加工ヘッドのキャリブレーション装置およびその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant