CN114939865A - 校准方法 - Google Patents
校准方法 Download PDFInfo
- Publication number
- CN114939865A CN114939865A CN202210139298.9A CN202210139298A CN114939865A CN 114939865 A CN114939865 A CN 114939865A CN 202210139298 A CN202210139298 A CN 202210139298A CN 114939865 A CN114939865 A CN 114939865A
- Authority
- CN
- China
- Prior art keywords
- robot
- robot arm
- vector
- state
- arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39026—Calibration of manipulator while tool is mounted
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39054—From teached different attitudes for same point calculate tool tip position
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
提供一种校准方法,能够以简单的方法进行校准。一种校准方法,其特征在于,在具有机械臂的机器人中,求出第一控制点和第二控制点的位置关系,所述第一控制点被设定于在所述机械臂的前端安装的末端执行器,所述第二控制点被设定于比所述末端执行器靠所述机械臂一侧,在所述校准方法中,一边使用摄像部使机械臂移动一边根据所求出的第一向量和第二向量,计算与第一控制点建立对应的机器人的第一特征点的机器人坐标系中的坐标。
Description
技术领域
本发明涉及校准方法。
背景技术
例如,已知有如专利文献1所示的机器人,该机器人具有在前端安装有作为末端执行器的工具的机械臂,通过驱动机械臂,对工件进行规定的作业。在这样的机器人中,以机器人坐标系掌握对工具设定的工具中心点的位置,并控制机械臂的驱动以使工具中心点移动到规定的位置,而进行规定的作业。为此,需要求出在机械臂的前端设定的控制点与工具中心点的偏置,即需要进行校准。
在专利文献1中,在以机器人坐标系确定的空间上的规定点以不同的至少三种姿态对工具中心点进行定位,即使移动到所述规定点。并且,根据此时的机械臂的姿态求出工具中心点的位置、姿态。
专利文献1:日本特开平8-85083号公报
但是,在如专利文献1所公开的方法中,在使工具中心点移动到规定点时通过目测确认来进行,所以工具中心点和规定点实际上未必一致,导致产生偏差。其结果是,不能进行准确的校准。
发明内容
本发明的校准方法的特征在于,在具有机械臂的机器人中,求出第一控制点和第二控制点的位置关系,所述第一控制点被设定于在所述机械臂的前端安装的末端执行器,所述第二控制点被设定于比所述末端执行器靠所述机械臂一侧,所述校准方法包括:
第一步骤,使用摄像部拍摄所述机器人,并使所述机械臂移动,以使与所述第一控制点建立对应的所述机器人的第一特征点位于所述摄像部的摄像图像中的规定的位置,且所述机械臂处于采取第一姿态的第一状态;
第二步骤,拍摄所述机器人,并使所述机械臂移动,以使所述第一特征点位于所述摄像部的摄像图像中的所述规定的位置,且所述机械臂处于采取第二姿态的第二状态;
第三步骤,计算通过第一基准位置和所述第二状态下的所述第一特征点的位置的第一向量,所述第一基准位置是根据所述第一状态下的所述第二控制点的位置以及所述第二状态下的所述第二控制点的位置而得到的;
第四步骤,以与沿着所述第一向量的分量的轴交叉的基准轴为中心使所述机械臂旋转;
第五步骤,使所述机械臂移动,以使所述第一特征点位于所述摄像部的摄像图像中的所述规定的位置,且所述机械臂处于采取第三姿态的第三状态;
第六步骤,在所述第三状态下,计算通过第二基准位置和所述第三状态下的所述第一特征点的位置的第二向量,所述第二基准位置是根据所述第三状态下的所述第二控制点的位置而得到的;以及
第七步骤,根据所述第一向量和所述第二向量,计算机器人坐标系中的所述第一特征点的坐标。
附图说明
图1是表示有关实施方式的机器人系统的整体结构的图。
图2是图1所示的机器人系统的框图。
图3是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图4是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图5是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图6是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图7是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图8是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图9是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图10是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图11是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图12是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图13是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图14是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图15是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图16是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图17是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图18是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图19是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。
图20是表示图1所示的控制装置执行的动作程序的一例的流程图。
图21是表示图1所示的末端执行器的一例的立体图。
图22是表示图1所示的末端执行器的一例的立体图。
图23是表示图1所示的末端执行器的一例的立体图。
图24是表示图1所示的末端执行器的一例的立体图。
附图标记说明
1…机器人;3…控制装置;4…示教装置;5…摄像部;10…机械臂;11…基座;12…第一臂;13…第二臂;14…第三臂;15…第四臂;16…第五臂;17…第六臂;18…中继线缆;19…力检测部;20…末端执行器;21…连结棒;31…处理器;32…存储部;33…通信部;41…处理器;42…存储部;43…通信部;100…机器人系统;171…关节;172…关节;173…关节;174…关节;175…关节;176…关节;A1…虚线;A2…虚线;B1…第一向量;B2…第二向量;CP…控制点;D1…电机驱动器;D2…电机驱动器;D3…电机驱动器;D4…电机驱动器;D5…电机驱动器;D6…电机驱动器;E1…编码器;E2…编码器;E3…编码器;E4…编码器;E5…编码器;E6…编码器;F1…成像面;F2…基准面;J…基准轴;M1…电机;M2…电机;M3…电机;M4…电机;M5…电机;M6…电机;O1…第一轴;O2…第二轴;O5…光轴;P1…位置;P2…位置;P2’…位置;P3…位置;P’…中心;P0A…第一基准位置;P0B…第二基准位置;S1…标记;S2…标记;S3…标记;S4…标记;TCP…工具中心点。
具体实施方式
<实施方式>
图1是表示有关实施方式的机器人系统的整体结构的图。图2是图1所示的机器人系统的框图。图3~图19是表示图1所示的机器人系统执行本发明的校准方法的状态的示意图。图20是表示图1所示的控制装置执行的动作程序的一例的流程图。图21~图24是表示图1所示的末端执行器的一例的立体图。
下面,根据附图所示的优选的实施方式对本发明的校准方法进行详细说明。另外,下面为了说明上的方便,称图1中的+Z轴方向即上侧为“上”,称-Z轴方向即下侧为“下”。并且,对于机械臂,称图1中的基座11侧的端部为“基端”,称其相反侧即末端执行器20侧的端部为“前端”,并且,对于末端执行器及力检测部,称机械臂10侧的端部为“基端”,称其相反侧的端部为“前端”。并且,设图1中的Z轴方向即上下方向为“铅垂方向”,设X轴方向及Y轴方向即左右方向为“水平方向”。
如图1及图2所示,机器人系统100具备机器人1、控制机器人1的控制装置3、示教装置4和摄像部5,来执行本发明的校准方法。
首先,对机器人1进行说明。
图1所示的机器人1在本实施方式中是单臂的六轴垂直多关节机器人,具有基座11和机械臂10。并且,在机械臂10的前端部能够安装末端执行器20。末端执行器20可以是机器人1的构成要素,也可以不是机器人1的构成要素。
另外,机器人1不限于图示的结构,例如也可以是双臂式的多关节机器人。并且,机器人1还可以是水平多关节机器人。
基座11是从下侧可驱动地支承机械臂10的支承体,例如被固定在工厂内的地面上。机器人1的基座11经由中继线缆18与控制装置3电连接。另外,机器人1和控制装置3的连接不限于如图1所示的结构那样的有线方式的连接,例如也可以是无线方式的连接,还可以经由如因特网那样的网络进行连接。
在本实施方式中,机械臂10具有第一臂12、第二臂13、第三臂14、第四臂15、第五臂16和第六臂17,这些臂从基座11侧起依次进行连结。另外,机械臂10具有的臂的数量不限于6个,例如也可以是1个、2个、3个、4个、5个或者7个以上。并且,各臂的总长等尺寸都没有特别限定,能够适当设定。
基座11和第一臂12经由关节171进行连结。并且,第一臂12相对于基座11能够以与铅垂方向平行的第一转动轴为转动中心围绕该第一转动轴进行转动。第一转动轴与被固定有基座11的地面的法线一致。
第一臂12和第二臂13经由关节172进行连结。并且,第二臂13相对于第一臂12能够以与水平方向平行的第二转动轴为转动中心进行转动。第二转动轴与和第一转动轴正交的轴平行。
第二臂13和第三臂14经由关节173进行连结。并且,第三臂14相对于第二臂13能够以与水平方向平行的第三转动轴为转动中心进行转动。第三转动轴与第二转动轴平行。
第三臂14和第四臂15经由关节174进行连结。并且,第四臂15相对于第三臂14能够以与第三臂14的中心轴方向平行的第四转动轴为转动中心进行转动。第四转动轴与第三转动轴正交。
第四臂15和第五臂16经由关节175进行连结。并且,第五臂16相对于第四臂15能够以第五转动轴为转动中心进行转动。第五转动轴与第四转动轴正交。
第五臂16和第六臂17经由关节176进行连结。并且,第六臂17相对于第五臂16能够以第六转动轴为转动中心进行转动。第六转动轴与第五转动轴正交。
并且,第六臂17成为在机械臂10中位于最前端侧的机器人前端部。该第六臂17能够通过机械臂10的驱动,对应每个末端执行器20进行转动。
机器人1具备作为驱动部的电机M1、电机M2、电机M3、电机M4、电机M5及电机M6、和编码器E1、编码器E2、编码器E3、编码器E4、编码器E5及编码器E6。电机M1被内置于关节171,使基座11和第一臂12相对旋转。电机M2被内置于关节172,使第一臂12和第二臂13相对旋转。电机M3被内置于关节173,使第二臂13和第三臂14相对旋转。电机M4被内置于关节174,使第三臂14和第四臂15相对旋转。电机M5被内置于关节175,使第四臂15和第五臂16相对旋转。电机M6被内置于关节176,使第五臂16和第六臂17相对旋转。
并且,编码器E1被内置于关节171,检测电机M1的位置。编码器E2被内置于关节172,检测电机M2的位置。编码器E3被内置于关节173,检测电机M3的位置。编码器E4被内置于关节174,检测电机M4的位置。编码器E5被内置于关节175,检测电机M5的位置。编码器E6被内置于关节176,检测电机M6的位置。
编码器E1~E6与控制装置3电连接,电机M1~电机M6的位置信息即旋转量作为电气信号被发送给控制装置3。并且,根据该信息,控制装置3通过电机驱动器D1~电机驱动器D6使电机M1~电机M6驱动。即,控制机械臂10就是控制电机M1~电机M6。
并且,在设置于机械臂10的力检测部19的前端设定有控制点CP。控制点CP是作为进行机械臂10的控制时的基准的点。在机器人系统100中,以机器人坐标系掌握控制点CP的位置,并驱动机械臂10使控制点CP移动到期望的位置。即,控制点CP被设定在比末端执行器20靠机械臂10侧。另外,在本实施方式中,控制点CP被设定在力检测部19的前端,但如果自机器人坐标系的原点的位置及姿态是已知的,则也可以被设定在比末端执行器20靠机械臂10侧的任何位置。例如,也可以被设定在机械臂10的前端。
并且,在机器人1中,检测力的力检测部19拆装自如地设置于机械臂10。并且,机械臂10能够以设置有力检测部19的状态进行驱动。力检测部19在本实施方式中是六轴力觉传感器。力检测部19检测相互正交的三个检测轴上的力的大小、和围绕这三个检测轴的转矩的大小。即,检测相互正交的X轴、Y轴、Z轴的各轴方向上的力分量、围绕X轴的W方向的力分量、围绕Y轴的V方向的力分量、和围绕Z轴的U方向的力分量。另外,在本实施方式中,Z轴方向成为铅垂方向。并且,还能够称各轴方向的力分量为“并进力分量”,称围绕各轴的力分量为“转矩分量”。并且,力检测部19不限于六轴力觉传感器,也可以是其它结构。
在本实施方式中,力检测部19设置于第六臂17。另外,作为力检测部19的设置部位,不限于第六臂17即位于最前端侧的臂,例如也可以是其它的臂或相邻的臂彼此之间。
在力检测部19能够可拆装地安装末端执行器20。末端执行器20在本实施方式中由对作业对象物进行螺钉固定的螺丝刀构成。并且,末端执行器20经由连结棒21被固定于力检测部19。在图示的结构中,末端执行器20被设置成使其长度方向为与连结棒21的长度方向交叉的朝向。
另外,作为末端执行器20不限于图示的结构,例如也可以是扳手、研磨机、磨削机、切削机、螺丝刀、扳手等工具,还可以是通过吸引、夹持来握持作业对象物的手柄。
并且,在机器人坐标系中,在末端执行器20的前端设定有作为第一控制点的工具中心点TCP。在机器人系统100中,通过以机器人坐标系掌握工具中心点TCP的位置,能够把工具中心点TCP作为控制的基准。在机器人系统100中,以机器人坐标系掌握在机械臂10设定的作为第二控制点的控制点CP的位置。因此,通过掌握工具中心点TCP和控制点CP的位置关系,能够将工具中心点TCP作为控制的基准,驱动机械臂10使进行作业。将这样的掌握工具中心点TCP和控制点CP的位置关系的情况称为校正即校准。后述的本发明的校准方法就是用于掌握工具中心点TCP和控制点CP的位置关系的方法。
下面,对摄像部5进行说明。
摄像部5例如能够设为具有摄像元件和包括透镜等光学系统的结构,该摄像元件由具有多个像素的CCD(Charge Coupled Device,电荷耦合装置)图像传感器构成。如图2所示,摄像部5与控制装置3电连接。并且,摄像部5把摄像元件接受到的光转换为电气信号,并向控制装置3输出该电气信号。即,摄像部5向控制装置3发送摄像结果。另外,摄像结果可以是静态图像,也可以是动态图像。
并且,摄像部5被设置于机器人1的设置面附近,而且朝向上方,并拍摄上方。并且,在本实施方式中,为了容易进行后述的校准方法的说明,把摄像部5设置成使光轴O5相对于铅垂方向即Z轴略微倾斜的状态。另外,摄像部5朝向的方向没有特别限定,例如可以朝向水平方向、或与铅垂方向及水平方向交叉的方向进行配置。并且,配置位置也不限于图示的结构。
下面,对控制装置3及示教装置4进行说明。在本实施方式中,对控制装置3执行本发明的校准方法的情况进行说明,但在本发明中不限于此,例如也可以由示教装置4执行,还可以由控制装置3及示教装置4分担执行。
如图1及图2所示,控制装置3在本实施方式中被设置在远离机器人1的位置。但是,不限于该结构,也可以被内置于基座11中。并且,控制装置3具有控制机器人1的驱动的功能,与前述的机器人1的各部电连接。控制装置3具有处理器31、存储部32和通信部33。这些各部例如通过总线相互能够通信地进行连接。
处理器31例如由CPU(Central Processing Unit,中央处理单元)构成,读出并执行在存储部32存储的各种程序等。在处理器31生成的指令信号通过通信部33被发送给机器人1。由此,机械臂10能够执行规定的作业。并且,在本实施方式中,处理器31根据摄像部5的摄像结果,执行后述的步骤S101~步骤S116。但是,不限于此,也可以是示教装置4的处理器41执行步骤S101~步骤S116的结构,还可以是处理器31及处理器41分担执行步骤S101~步骤S116的结构。
存储部32保存处理器31能够执行的各种程序等。作为存储部32,例如可以举出RAM(Random Access Memory,随机存取存储器)等易失性存储器、ROM(Read Only Memory,只读存储器)等非易失性存储器、拆装式的外部存储装置等。
通信部33例如使用有线LAN(Local Area Network,局域网)、无线LAN等外部接口,与机器人1的各部及示教装置4之间分别进行信号的发送及接收。
下面,对示教装置4进行说明。
如图1及图2所示,示教装置4具有针对机械臂10生成动作程序或进行输入的功能。示教装置4具有处理器41、存储部42和通信部43。作为示教装置4没有特别限定,例如可以举出平板电脑、个人电脑、智能电话、示教板等。
处理器41例如由CPU(Central Processing Unit,中央处理单元)构成,读出并执行在存储部42存储的示教程序等各种程序。另外,示教程序可以是在示教装置4生成的程序,也可以是由例如CD-ROM等外部记录介质存储的程序,还可以是经由网络等存储的程序。
在处理器41生成的信号通过通信部43被发送给机器人1的控制装置3。由此,机械臂10能够在规定的条件下执行规定的作业。
存储部42保存处理器41能够执行的各种程序等。作为存储部42,例如可以举出RAM(Random Access Memory,随机存取存储器)等易失性存储器、ROM(Read Only Memory,只读存储器)等非易失性存储器、拆装式的外部存储装置等。
通信部43例如使用有线LAN(Local Area Network,局域网)、无线LAN等外部接口,与控制装置3之间进行信号的发送及接收。
以上对机器人系统100进行了说明。
在这样的机器人系统100中,在机器人1进行规定的作业之前,操作者在机械臂10的前端安装与作业相应的末端执行器。控制装置3或者示教装置4需要掌握被安装有什么样的末端执行器。并且,即使是掌握了所安装的末端执行器的形状、种类,在操作者进行安装时,也未必能安装成期望的姿态。因此,进行使所安装的末端执行器20的工具中心点TCP和控制点CP的位置关系相对应的校正即校准。
下面,关于本发明的校准方法,根据图3~图19及图20所示的流程图进行说明。另外,摄像部5的视野即摄像范围是指图3~图19所示的虚线A1及虚线A2的内侧的区域。
并且,下面在摄像部5的摄像图像中,把工具中心点TCP作为第一特征点进行说明。即,把作为第一控制点的工具中心点TCP识别为第一特征点。另外,步骤S100~步骤S103是第一步骤,步骤S105~步骤S111是第二步骤,步骤S112及步骤S113是第三步骤,步骤S115是第四步骤,第二圈循环的步骤S103是第五步骤,第二圈循环的步骤S113是第六步骤,步骤S116是第七步骤。
1.步骤S100(第一步骤)
首先,在步骤S100中,如图3所示,使机械臂10移动,以使末端执行器20为相对于Z轴倾斜的状态且工具中心点TCP位于初始位置。初始位置被设为摄像部5的成像位置、即作为焦点位置的成像面F1上的任意位置。另外,成像面F1是将摄像部5的光轴O5作为法线的面,在本实施方式中相对于X-Y平面倾斜。
并且,成像面F1是将摄像部5的光轴作为法线的平面。并且,能够成像的位置沿着摄像部5的光轴方向具有规定的宽度。该宽度是指图中两条虚线之间的区域。下面,所谓“位于成像面F1上”是指位于该区域内的任意位置。
在步骤S100中,摄像部5拍摄移动中的工具中心点TCP,并作为映像发送给控制装置3。并且,处理器31在由摄像部5发送过来的映像中捕捉工具中心点TCP作为第一特征点,并驱动机械臂10以使工具中心点TCP位于成像面F1上的任意位置。
2.步骤S101(第一步骤)
然后,在步骤S101中,如图4所示,设定基准面F2。基准面F2在本实施方式中是指位于比成像面F1靠+Z轴侧、且与X-Y平面平行的平面。设定基准面F2是指设定基准面F2的高度、即Z轴方向的坐标,并存储在存储部32。在本实施方式中,在步骤S101完成时的控制点CP的位置设定基准面F2。
另外,在本实施方式中,基准面F2是与X-Y平面平行的平面,但在本发明中不限于此,也可以不是与X-Y平面平行的平面,例如可以是与X-Z平面平行的面,也可以是与Y-Z平面平行的面,还可以是相对于这些平面倾斜的平面。
这样,基准面F2是与机械臂10进行作业的作业面平行的面,是作为机械臂10进行作业时的基准的面。并且,在后述的步骤S103、步骤S105、步骤S106及步骤S109中,是作为变更机械臂10的姿态时的基准的面。
这样,在第一步骤中,设定作为使机械臂10移动时的基准的基准面F2。由此,能够准确且容易地执行后述的步骤S103、步骤S105、步骤S106及步骤S109。
3.步骤S102(第一步骤)
然后,执行步骤S102。在步骤S102中,如图5所示,使用摄像部5进行拍摄,在本实施方式中,驱动机械臂10以使一边拍摄一边将工具中心点TCP移动到摄像中心。此时,驱动机械臂10以使控制点CP在基准面F2的面内水平移动。另外,所谓摄像中心是指成像面F1和摄像部5的光轴O5的交点。另外,在本步骤以及以后的步骤中,可以由摄像部5始终进行拍摄,也可以间断地即在每规定时间进行拍摄。
4.步骤S103(第一步骤)
然后,在步骤S103中,如图6所示,示教工具中心点TCP位于摄像中心时的控制点CP的位置、即机器人坐标系中的X坐标、Y坐标及Z坐标。另外,所谓示教是指在存储部32进行存储。并且,将在本步骤中进行示教的位置称为位置P1。
另外,图6所示的机械臂10的姿态是第一姿态。并且,工具中心点TCP位于摄像中心、且机械臂10采取第一姿态的状态是第一状态。以上所述的步骤S100~步骤S103是第一步骤。
然后,在步骤104中,判断是否是第一圈循环。本步骤中的判断例如根据是否已经计算并存储后述的第一向量来进行。在步骤S104中,在判断为是第一圈循环的情况下,进入步骤S105。
5.步骤S105(第二步骤)
然后,在步骤S105中,如图7所示,使机械臂10围绕第一轴O1旋转。第一轴O1是通过第一姿态中的控制点CP且作为基准面F2的法线的直线。并且,步骤S105中的旋转量被设为工具中心点TCP不偏离摄像部5的摄像范围的程度,例如被设为1°以上且60°以下的程度。
6.步骤S106(第二步骤)
然后,在步骤S106中,如图8所示,使机械臂10围绕任意位置的基准面F2的法线旋转,以使工具中心点TCP位于摄像部5的摄像图像中的摄像中心且在成像面F1上。
7.步骤S107(第二步骤)
然后,在步骤S107中,如图9所示,示教在步骤S106中的移动完成时的位置,即,示教工具中心点TCP位于摄像部5的摄像图像中的摄像中心且在成像面F1上的状态下的控制点CP的位置P2’。
8.步骤S108(第二步骤)
然后,在步骤S108中,如图10所示,根据位置P1及位置P2’求出中心P’。中心P’是指在摄像部5的摄像图像中,通过控制点CP位于位置P1时的工具中心点TCP的位置和控制点CP位于位置P2’时的工具中心点TCP的位置的同一个圆的中心。
9.步骤S109(第二步骤)
然后,在步骤S109中,如图11所示,使机械臂10围绕第二轴O2旋转,该第二轴O2通过中心P’且与基准面F2的法线平行。步骤S109中的旋转量优选比步骤S105中的旋转量多,例如被设为30°以上且180°以下的程度。
10.步骤S110(第二步骤)
然后,在步骤S110中,如图12所示,驱动机械臂10以使工具中心点TCP位于摄像部5的摄像图像中的摄像中心且在成像面F1上。由此,机械臂10成为第二状态。第二状态是指工具中心点TCP位于摄像部5的摄像图像中的摄像中心且机械臂10采取与第一姿态不同的第二姿态的状态。
11.步骤S111(第二步骤)
然后,在步骤S111中,如图13所示,示教在步骤S110中的移动完成时的位置、即第二状态的控制点CP的位置P2。以上所述的步骤S105~步骤S111是第二步骤。
这样,在第二步骤中,在从第一状态成为第二状态时,以作为第二控制点的控制点CP维持第一状态的位置且机械臂10以沿着铅垂方向的第一轴O1为中心进行旋转的方式驱动机械臂10,并以使作为第一特征点的工具中心点TCP位于摄像部5的摄像图像中的作为规定的位置的摄像中心的方式驱动机械臂10,还以使工具中心点TCP以与基准面F2的法线平行的第二轴O2为中心进行旋转的方式驱动机械臂10,而且以使工具中心点TCP位于摄像部5的摄像图像中的作为规定的位置的摄像中心的方式驱动机械臂10,由此使机械臂10成为第二状态。经过这样的步骤,能够准确求出后述的第一基准位置P0A。
12.步骤S112(第三步骤)
然后,在步骤S112中,如图14所示,根据第一状态的控制点CP的位置P1、以及第二状态的控制点CP的位置P2,求出第一基准位置P0A。第一基准位置P0A是指作为求出后述的第一向量B1用的基准的位置。在本步骤中,把位置P1及位置P2的中点作为第一基准位置P0A,把其坐标存储在存储部32中。
13.步骤S113(第三步骤)
然后,在步骤S113中,如图15所示,求出第一向量B1。第一向量B1是指以第一基准位置P0A为始点、朝向第二状态的工具中心点TCP的位置的分量的直线。并且,把该第一向量B1存储在存储部32中。
这样的步骤S112及步骤S113就是计算第一向量B1的第三步骤,该第一向量B1通过第一基准位置P0A和第二状态下的工具中心点TCP的位置,该第一基准位置P0A是根据第一状态的控制点CP的位置P1以及第二状态的控制点CP的位置P2而得到的。
14.步骤S114
然后,在步骤S114中,判断是否是第一圈循环。在步骤S114中,在判断为是第一圈循环的情况下,进入步骤S115。另外,在步骤S114中,在判断为不是第一圈循环即是第二圈的情况下,进入步骤S116。
15.步骤S115(第四步骤)
在步骤S115中,如图16所示,使第二状态的机械臂10移动。在本步骤中,以将与沿着第一向量B1的轴交叉的基准轴J作为中心使机械臂10旋转的方式进行驱动。本步骤中的旋转角度只要在旋转后与第二状态不同即可,没有特别限定,例如被设为5°以上且90°以下的程度。
并且,基准轴J在图示的结构中是与基准面F2的法线交叉的轴。由此,能够更可靠地使经过第四步骤后的机械臂10的姿态相对于第二状态的机械臂10的姿态不同。
另外,在图示的结构中,基准轴J是与基准面F2的法线交叉、具体地是沿着X轴方向的轴。但是,不限于该结构,基准轴J也可以是沿着Y轴方向的轴,还可以是相对于X轴及Y轴倾斜的轴。
16.第二圈循环
另外,返回到步骤S102,在工具中心点TCP及控制点CP的位置与步骤S100中的初始位置不同的状态下执行第二圈循环。
第五步骤是指第二圈循环的步骤S102及步骤S103。第五步骤是如下的步骤,使用摄像部5拍摄机器人1并使机械臂10移动,以使工具中心点TCP位于摄像部5的摄像图像中的摄像中心且机械臂10成为采取与第一姿态不同的第三姿态的第三状态。经过这样的第五步骤,如图17所示,第三状态中的控制点CP的位置即位置P3的示教完成。
然后,在步骤S104中,再次判断是否是第一圈循环。在步骤S104中,在判断为不是第一圈循环即是第二圈循环的情况下,进入步骤S113。
第六步骤是指第二圈循环的步骤S113。即,如图18所示,求出根据第三状态的控制点CP的位置得到的第二基准位置P0B。并且,计算通过第二基准位置P0B和第三状态的工具中心点TCP的位置的第二向量B2,并存储在存储部32中。第二向量B2是以第二基准位置P0B为始点、朝向第三状态的工具中心点TCP的位置的分量的直线。
另外,第三状态的控制点CP的位置和第二基准位置P0B的位置关系,与第二状态的控制点CP的位置P2和第一基准位置P0A的位置关系相同。
17.步骤S116(第七步骤)
然后,在步骤S116中,如图19所示,根据第一向量B1和第二向量B2计算机器人坐标系中的工具中心点TCP的坐标。
在第一向量B1和第二向量B2交叉的情况下,计算第一向量B1和第二向量B2的交点P5,求出交点P5的坐标(X,Y,Z),把该坐标(X,Y,Z)视为控制点CP位于位置P2时的工具中心点TCP的位置。
另一方面,虽然没有图示,但在第一向量B1和第二向量B2位于扭转位置的情况下即不交叉的情况下,把向量B1和第二向量B2为最短距离的部分的中点视为工具中心点TCP的位置。
并且,根据所求出的工具中心点TCP和控制点CP的位置关系,能够使控制点CP的位置和工具中心点TCP的位置关联即相对应。因此,能够以工具中心点TCP的位置作为基准驱动机械臂10,能够准确地进行规定的作业。
这样,在第七步骤中,在第一向量B1和第二向量B2交叉的情况下,把第一向量B1和第二向量B2交叉的点视为作为第一特征点的工具中心点TCP的位置。由此,能够准确地确定工具中心点TCP的位置。因此,能够准确地进行规定的作业。
并且,在第七步骤中,在第一向量B1和第二向量B2位于扭转位置的情况下,把第一向量B1和第二向量B2为最短距离的部分的中点视为作为第一特征点的工具中心点TCP的位置。由此,即使是第一向量B1和第二向量B2不交叉的情况下,也能够准确地确定工具中心点TCP的位置。因此,能够准确地进行规定的作业。
如以上说明的那样,本发明是如下的校准方法:在具有机械臂10的机器人1中,求出作为第一控制点的工具中心点TCP和作为第二控制点的控制点CP的位置关系,上述第一控制点被设定于在机械臂10的前端安装的末端执行器20,上述第二控制点被设定于比末端执行器20靠机械臂10侧。并且,本发明的校准方法包括:第一步骤,使用摄像部5拍摄机器人1并使机械臂10移动,以使能够视为与工具中心点TCP建立对应的机器人1的第一特征点的工具中心点TCP位于摄像部5的摄像图像中的规定的位置即摄像中心,且机械臂10处于采取第一姿态的第一状态;第二步骤,拍摄机器人1并使机械臂10移动,以使能够视为第一特征点的工具中心点TCP位于摄像部5的摄像图像中的摄像中心,且机械臂10处于采取第二姿态的第二状态;第三步骤,计算通过第一基准位置P0A和第二状态的工具中心点TCP的位置的第一向量B1,该第一基准位置P0A是根据第一状态的控制点CP的位置P1以及第二状态的控制点CP的位置P2得到的;第四步骤,以与沿着第一向量B1的分量的轴交叉的基准轴J为中心,使机械臂10旋转;第五步骤,使机械臂10移动,以使能够视为第一特征点的工具中心点TCP位于摄像部5的摄像图像中的规定的位置即摄像中心,且机械臂10处于采取第三姿态的第三状态;第六步骤,在第三状态下计算通过第二基准位置P0B和能够视为第三状态的第一特征点的工具中心点TCP的位置的第二向量B2,上述第二基准位置P0B是根据作为第三状态的第二控制点的控制点CP的位置得到的;第七步骤,根据第一向量B1和第二向量B2,计算机器人坐标系中的第一特征点的坐标。
根据这样的本发明,不存在操作者目测确认工具中心点TCP等位置的工序,所以能够进行更准确的校准。并且,能够省略如以往进行的修整那样的工序,能够实现时间的缩短。并且,不需要准备具有自动聚焦功能的摄像部、或具有比较深的景深的摄像部等,能够使用比较低廉的摄像部进行校准。
另外,以上将摄像部5的摄像图像中的规定的位置作为摄像中心进行了说明,但本发明不限于此,也可以是摄像图像中的任何位置。
并且,作为第一特征点及工具中心点TCP被建立对应的一例,以上对第一特征点与工具中心点TCP一致的情况进行了说明,但本发明不限于此,第一特征点也可以是末端执行器20的工具中心点TCP以外的任意位置。并且,还可以是使用如下面叙述的第二特征点或第三特征点求出控制点CP和工具中心点TCP的位置关系的结构。
例如,图21所示的末端执行器20具有作为第一特征点的标记S1、作为第二特征点的标记S2和作为第三特征点的标记S3。标记S1是第一特征点,被设置于末端执行器20的前端部、即与工具中心点TCP对应的位置。标记S2是第二特征点,被设置于末端执行器20的长度方向的中央部。标记S3是第三特征点,被设置于末端执行器20的基端部。
例如,在掌握这样的末端执行器20的工具中心点TCP的位置的情况下,还能够使用标记S2及标记S3。例如,把标记S2作为特征点进行前述的步骤S101~步骤S116,然后把标记S3作为特征点进行前述的步骤S101~步骤S116。由此,根据标记S2和控制点CP的位置关系以及标记S3和控制点CP的位置关系,还能够求出标记S1的坐标。
并且,求出标记S2和标记S3的位置关系,即,求出由标记S3上的任意的点朝向标记S2上的任意的点的向量,将该向量适用于标记S1即工具中心点TCP,由此能够求出末端执行器20的姿态。
并且,例如使用如图22~图24所示那样的末端执行器20,也能够根据本发明的校准方法简单且准确地进行校准。
图22所示的末端执行器20具有标记S1和标记S2。标记S1是第一特征点,被设置于末端执行器20的前端部、即与工具中心点TCP对应的位置。标记S2是第二特征点,被设置于末端执行器20的基端。使用这样的末端执行器20,也能够根据本发明的校准方法简单且准确地进行校准。
图23所示的末端执行器20具有标记S1、标记S2、标记S3和标记S4。标记S1是第一特征点,被设置于末端执行器20的前端部、即与工具中心点TCP对应的位置。标记S2是第二特征点,被设置于末端执行器20的长度方向的中途。标记S3是第三特征点,被设置于末端执行器20的长度方向的中途。标记S4是第四特征点,被设置于末端执行器20的长度方向的中途。并且,标记S2~标记S4沿末端执行器20的周向排列配置。使用这样的末端执行器20,也能够根据本发明的校准方法简单且准确地进行校准。
图24所示的末端执行器20具有作为第一特征点的标记S1、作为第二特征点的标记S2和作为第三特征点的标记S3。标记S1~标记S3被设置于末端执行器20的前端部。具体地,标记S1~标记S3被配置在末端执行器20的前端面上且相互不同的位置。使用这样的末端执行器20,也能够根据本发明的校准方法简单且准确地进行校准。
以上关于本发明的校准方法对图示的实施方式进行了说明,但本发明不限于此。并且,校准方法的各工序能够与可以发挥相同功能的任意的工序替换。并且,还可以附加任意的工序。
另外,在摄像部的光轴和基准面不垂直交叉情况下、以及在求出第一向量时和求出第二向量时焦点位置不同的情况下,认为将导致第一向量和第二向量的交点大幅偏离实际的工具中心点的位置。在这种情况下,显示出第一特征点的位置的检测精度降低的趋势。为了防止或者抑制这种情况,优选的是,在求出第一向量时和求出第二向量时,驱动机械臂以使成为摄像部的聚焦度一致这样的第三姿态,即,使第三步骤中的第二状态的第一特征点和第六步骤中的第三状态的第一特征点的焦点位置一致。
另外,还可以是这样的结构,在第一圈的步骤S103及第二圈的步骤S103中,以使第一特征点的像素尺寸相同的方式驱动机械臂,由此抑制第一特征点的位置的检测精度的降低。
Claims (6)
1.一种校准方法,其特征在于,在具有机械臂的机器人中,求出第一控制点和第二控制点的位置关系,所述第一控制点被设定于在所述机械臂的前端安装的末端执行器,所述第二控制点被设定于比所述末端执行器靠所述机械臂一侧,所述校准方法包括:
第一步骤,使用摄像部拍摄所述机器人,并使所述机械臂移动,以使与所述第一控制点建立对应的所述机器人的第一特征点位于所述摄像部的摄像图像中的规定的位置,且所述机械臂处于采取第一姿态的第一状态;
第二步骤,拍摄所述机器人,并使所述机械臂移动,以使所述第一特征点位于所述摄像部的摄像图像中的所述规定的位置,且所述机械臂处于采取第二姿态的第二状态;
第三步骤,计算通过第一基准位置和所述第二状态下的所述第一特征点的位置的第一向量,所述第一基准位置是根据所述第一状态下的所述第二控制点的位置以及所述第二状态下的所述第二控制点的位置而得到的;
第四步骤,以与沿着所述第一向量的分量的轴交叉的基准轴为中心使所述机械臂旋转;
第五步骤,使所述机械臂移动,以使所述第一特征点位于所述摄像部的摄像图像中的所述规定的位置,且所述机械臂处于采取第三姿态的第三状态;
第六步骤,在所述第三状态下,计算通过第二基准位置和所述第三状态下的所述第一特征点的位置的第二向量,所述第二基准位置是根据所述第三状态下的所述第二控制点的位置而得到的;以及
第七步骤,根据所述第一向量和所述第二向量,计算机器人坐标系中的所述第一特征点的坐标。
2.根据权利要求1所述的校准方法,其特征在于,
在所述第一步骤中,设定作为使所述机械臂移动时的基准的基准面。
3.根据权利要求2所述的校准方法,其特征在于,
所述基准轴是与所述基准面的法线交叉的轴。
4.根据权利要求1至3中任一项所述的校准方法,其特征在于,
在所述第七步骤中,在所述第一向量和所述第二向量交叉的情况下,把所述第一向量和所述第二向量交叉的点视为所述第一特征点的位置。
5.根据权利要求1至3中任一项所述的校准方法,其特征在于,
在所述第七步骤中,在所述第一向量与所述第二向量位于扭转的位置的情况下,将所述第一向量和所述第二向量为最短距离的部分的中点视为所述第一特征点的位置。
6.根据权利要求1所述的校准方法,其特征在于,
所述第三步骤中的所述第二状态下的所述第一特征点和所述第六步骤中的所述第三状态下的所述第一特征点的焦点位置一致。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023173A JP2022125537A (ja) | 2021-02-17 | 2021-02-17 | 校正方法 |
JP2021-023173 | 2021-02-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114939865A true CN114939865A (zh) | 2022-08-26 |
CN114939865B CN114939865B (zh) | 2023-06-02 |
Family
ID=82800982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210139298.9A Active CN114939865B (zh) | 2021-02-17 | 2022-02-15 | 校准方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220258353A1 (zh) |
JP (1) | JP2022125537A (zh) |
CN (1) | CN114939865B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014161950A (ja) * | 2013-02-25 | 2014-09-08 | Dainippon Screen Mfg Co Ltd | ロボットシステム、ロボット制御方法、ロボット較正方法 |
CN104842352A (zh) * | 2014-02-13 | 2015-08-19 | 发那科株式会社 | 利用了视觉反馈的机器人系统 |
CN106003020A (zh) * | 2015-03-30 | 2016-10-12 | 精工爱普生株式会社 | 机器人、机器人控制装置以及机器人系统 |
CN106217372A (zh) * | 2015-06-02 | 2016-12-14 | 精工爱普生株式会社 | 机器人、机器人控制装置以及机器人系统 |
CN107053167A (zh) * | 2015-12-01 | 2017-08-18 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
CN107639653A (zh) * | 2016-07-22 | 2018-01-30 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
CN108453727A (zh) * | 2018-01-11 | 2018-08-28 | 中国人民解放军63920部队 | 基于椭圆特征的机械臂末端位姿误差校正方法及系统 |
WO2020121396A1 (ja) * | 2018-12-11 | 2020-06-18 | 株式会社Fuji | ロボットキャリブレーションシステム及びロボットキャリブレーション方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4191080B2 (ja) * | 2004-04-07 | 2008-12-03 | ファナック株式会社 | 計測装置 |
US12053273B2 (en) * | 2018-09-07 | 2024-08-06 | Intellijoint Surgical Inc. | System and method to register anatomy without a probe |
JP7528484B2 (ja) * | 2020-03-19 | 2024-08-06 | セイコーエプソン株式会社 | 校正方法 |
-
2021
- 2021-02-17 JP JP2021023173A patent/JP2022125537A/ja not_active Withdrawn
-
2022
- 2022-02-15 CN CN202210139298.9A patent/CN114939865B/zh active Active
- 2022-02-16 US US17/672,749 patent/US20220258353A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014161950A (ja) * | 2013-02-25 | 2014-09-08 | Dainippon Screen Mfg Co Ltd | ロボットシステム、ロボット制御方法、ロボット較正方法 |
CN104842352A (zh) * | 2014-02-13 | 2015-08-19 | 发那科株式会社 | 利用了视觉反馈的机器人系统 |
CN106003020A (zh) * | 2015-03-30 | 2016-10-12 | 精工爱普生株式会社 | 机器人、机器人控制装置以及机器人系统 |
CN106217372A (zh) * | 2015-06-02 | 2016-12-14 | 精工爱普生株式会社 | 机器人、机器人控制装置以及机器人系统 |
CN107053167A (zh) * | 2015-12-01 | 2017-08-18 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
CN107639653A (zh) * | 2016-07-22 | 2018-01-30 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
CN108453727A (zh) * | 2018-01-11 | 2018-08-28 | 中国人民解放军63920部队 | 基于椭圆特征的机械臂末端位姿误差校正方法及系统 |
WO2020121396A1 (ja) * | 2018-12-11 | 2020-06-18 | 株式会社Fuji | ロボットキャリブレーションシステム及びロボットキャリブレーション方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022125537A (ja) | 2022-08-29 |
CN114939865B (zh) | 2023-06-02 |
US20220258353A1 (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9884425B2 (en) | Robot, robot control device, and robotic system | |
JP3946711B2 (ja) | ロボットシステム | |
US8306661B2 (en) | Method and system for establishing no-entry zone for robot | |
CN111182178B (zh) | 摄像装置以及机床 | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
CN109648605B (zh) | 机器人系统 | |
JP5272617B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
JP6897396B2 (ja) | 制御装置、ロボットシステムおよび制御方法 | |
CN113319848B (zh) | 机器人的控制方法以及机器人系统 | |
CN111618843A (zh) | 机器人系统以及控制方法 | |
JP7358747B2 (ja) | ロボットシステム | |
CN113492401B (zh) | 校正方法 | |
CN114939865B (zh) | 校准方法 | |
WO2023032400A1 (ja) | 自動搬送装置、及びシステム | |
JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
CN113319847B (zh) | 机器人的控制方法 | |
JP6578671B2 (ja) | ロボット、ロボットの制御方法、及びロボットの制御装置 | |
EP3603904B1 (en) | Robot system | |
JP2024057302A (ja) | 位置関係特定方法およびロボットシステム | |
US20230078238A1 (en) | Teaching Method | |
WO2022180674A1 (ja) | カメラの位置ずれ測定装置および位置ずれ測定方法 | |
CN113442131B (zh) | 示教方法 | |
US20240269853A1 (en) | Calibration method, calibration device, and robotic system | |
JP2024068115A (ja) | ロボット搭載移動装置 | |
JP2023175167A (ja) | キャリブレーション方法およびロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |