CN112936301B - 一种机器人手眼标定方法、装置、可读存储介质及机器人 - Google Patents
一种机器人手眼标定方法、装置、可读存储介质及机器人 Download PDFInfo
- Publication number
- CN112936301B CN112936301B CN202110114619.5A CN202110114619A CN112936301B CN 112936301 B CN112936301 B CN 112936301B CN 202110114619 A CN202110114619 A CN 202110114619A CN 112936301 B CN112936301 B CN 112936301B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- calibration
- iterative
- variable
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
本申请属于机器人技术领域,尤其涉及一种机器人手眼标定方法、装置、计算机可读存储介质及机器人。所述方法包括:分别获取三个以上的测量点的测量数据;根据所述测量数据进行机器人手眼标定,得到第一标定结果;使用预设的优化算法对所述第一标定结果进行迭代优化,得到优化后的第二标定结果。通过本申请实施例,可以分步进行机器人的手眼标定,首先根据测量数据得到粗略的标定结果,即第一标定结果,然后通过不断地迭代优化,逐步减小误差,从而得到精确度较高的标定结果,即第二标定结果。
Description
技术领域
本申请属于机器人技术领域,尤其涉及一种机器人手眼标定方法、装置、计算机可读存储介质及机器人。
背景技术
在机器人的手眼协调应用中,确定机器人的基坐标系与相机坐标系之间的关系的过程称为手眼标定。但在实际操作过程中,由于相机对标定物的姿态测量往往存在较大的误差,使得最终得到的标定结果精确度较低。
发明内容
有鉴于此,本申请实施例提供了一种机器人手眼标定方法、装置、计算机可读存储介质及机器人,以解决现有的机器人手眼标定方法所得到的标定结果精确度较低的问题。
本申请实施例的第一方面提供了一种机器人手眼标定方法,可以包括:
分别获取三个以上的测量点的测量数据;
根据所述测量数据进行机器人手眼标定,得到第一标定结果;
将迭代变量的当前取值代入目标函数的导数中,得到与所述迭代变量的当前取值对应的雅克比矩阵,其中,所述迭代变量包括相机在基坐标系中的姿态、相机在基坐标系中的位置和标定物在末端执行器坐标系中的位置,所述迭代变量的初始值由所述第一标定结果确定;所述目标函数由以末端执行器坐标系为中介和以相机坐标系为中介得到的各个测量点的标定物在基坐标系中的位置误差确定;
计算与所述迭代变量的当前取值对应的残差;
根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值;
当不满足预设的迭代优化终止条件时,将所述迭代变量的当前取值替换为所述更新值,并继续进行下一次迭代优化,直至满足所述迭代优化终止条件为止;
当满足所述迭代优化终止条件时,根据所述迭代变量的更新值确定所述第二标定结果。
进一步地,所述根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值,可以包括:
根据下式计算所述迭代变量的更新值:
其中,xk为所述迭代变量的当前取值,Jk为与所述迭代变量的当前取值对应的雅克比矩阵,f(xk)为与所述迭代变量的当前取值对应的残差,也即预设的目标函数中与所述迭代变量的当前取值对应的函数值,T为转置符号,I为单位矩阵,μ为预设的优化因子,xk+1为所述迭代变量的更新值。
进一步地,可以根据下式设置所述迭代变量:
其中,x为所述迭代变量,orient(bRc)3×1为相机在基坐标系中的姿态,bpc为相机在基坐标系中的位置,epo为标定物在末端执行器坐标系中的位置;
根据下式设置所述目标函数:
其中,f(x)为所述目标函数,i为测量点的序号,1≤i≤m,m为测量点的总数,为第i个测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第i个测量点的标定物在相机坐标系中的位置,bTc为相机坐标系至基坐标系的齐次变换矩阵。
进一步地,所述根据所述测量数据进行机器人手眼标定,得到第一标定结果,可以包括:
根据所述测量数据建立每两个测量点之间的标定方程;
将每两个测量点之间的标定方程组合为标定方程组;
对所述标定方程组进行求解,得到所述第一标定结果。
进一步地,每个测量点的测量数据均包括机器人各个关节的关节角以及相机测量得到的标定物位姿;
所述根据所述测量数据建立每两个测量点之间的标定方程,可以包括:
根据第一测量点中的关节角计算第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵;
根据第一测量点中的标定物位姿计算第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵;
根据第二测量点中的关节角计算第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵;
根据第二测量点中的标定物位姿计算第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵;
根据第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵、第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵、第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵、第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵建立第一测量点与第二测量点之间的标定方程。
进一步地,所述建立第一测量点与第二测量点之间的标定方程,可以包括:
建立如下所示的标定方程:
A12X=XB12
其中,为第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵,为第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵,为第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵,X为待求解量。
本申请实施例的第二方面提供了一种机器人手眼标定装置,可以包括:
测量数据获取模块,用于分别获取三个以上的测量点的测量数据;
第一标定模块,用于根据所述测量数据进行机器人手眼标定,得到第一标定结果;
第二标定模块,包括:
雅克比矩阵计算单元,用于将迭代变量的当前取值代入目标函数的导数中,得到与所述迭代变量的当前取值对应的雅克比矩阵,其中,所述迭代变量包括相机在基坐标系中的姿态、相机在基坐标系中的位置和标定物在末端执行器坐标系中的位置,所述迭代变量的初始值由所述第一标定结果确定;所述目标函数由以末端执行器坐标系为中介和以相机坐标系为中介得到的各个测量点的标定物在基坐标系中的位置误差确定;
残差计算单元,用于计算与所述迭代变量的当前取值对应的残差;
迭代计算单元,用于根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值;
更新单元,用于当不满足预设的迭代优化终止条件时,将所述迭代变量的当前取值替换为所述更新值,并继续进行下一次迭代优化,直至满足所述迭代优化终止条件为止;
标定结果确定单元,用于当满足所述迭代优化终止条件时,根据所述迭代变量的更新值确定所述第二标定结果。
进一步地,所述迭代计算单元具体用于根据下式计算所述迭代变量的更新值:
其中,xk为所述迭代变量的当前取值,Jk为与所述迭代变量的当前取值对应的雅克比矩阵,f(xk)为与所述迭代变量的当前取值对应的残差,也即预设的目标函数中与所述迭代变量的当前取值对应的函数值,T为转置符号,I为单位矩阵,μ为预设的优化因子,xk+1为所述迭代变量的更新值。
进一步地,所述第二标定模块还可以包括:
迭代变量设置单元,用于根据下式设置所述迭代变量:
其中,x为所述迭代变量,orient(bRc)3×1为相机在基坐标系中的姿态,bpc为相机在基坐标系中的位置,epo为标定物在末端执行器坐标系中的位置;
目标函数设置单元,用于根据下式设置所述目标函数:
其中,f(x)为所述目标函数,i为测量点的序号,1≤i≤m,m为测量点的总数,为第i个测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第i个测量点的标定物在相机坐标系中的位置,bTc为相机坐标系至基坐标系的齐次变换矩阵。
进一步地,所述第一标定模块可以包括:
标定方程建立单元,用于根据所述测量数据建立每两个测量点之间的标定方程;
标定方程组建立单元,用于将每两个测量点之间的标定方程组合为标定方程组;
标定方程组求解单元,用于对所述标定方程组进行求解,得到所述第一标定结果。
进一步地,所述标定方程建立单元可以包括:
第一计算子单元,用于根据第一测量点中的关节角计算第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵;
第二计算子单元,用于根据第一测量点中的标定物位姿计算第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵;
第三计算子单元,用于根据第二测量点中的关节角计算第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵;
第四计算子单元,用于根据第二测量点中的标定物位姿计算第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵;
标定方程建立子单元,用于根据第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵、第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵、第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵、第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵建立第一测量点与第二测量点之间的标定方程。
进一步地,所述标定方程建立子单元具体用于建立如下所示的标定方程:
A12X=XB12
其中,为第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵,为第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵,为第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵,X为待求解量。
本申请实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种机器人手眼标定方法的步骤。
本申请实施例的第四方面提供了一种机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种机器人手眼标定方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在机器人上运行时,使得机器人执行上述任一种机器人手眼标定方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例分别获取三个以上的测量点的测量数据;根据所述测量数据进行机器人手眼标定,得到第一标定结果;使用预设的优化算法对所述第一标定结果进行迭代优化,得到优化后的第二标定结果。通过本申请实施例,可以分步进行机器人的手眼标定,首先根据测量数据得到粗略的标定结果,即第一标定结果,然后通过不断地迭代优化,逐步减小误差,从而得到精确度较高的标定结果,即第二标定结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为眼在手上的手眼标定场景的示意图;
图2为眼在外的手眼标定场景的示意图;
图3为本申请实施例中一种机器人手眼标定方法的一个实施例流程图;
图4为根据测量数据进行机器人手眼标定的示意流程图;
图5为各个坐标系之间的映射关系的示意图;
图6为只考虑标定物的位置信息时,各个坐标系之间的映射关系的示意图;
图7为使用预设的优化算法对第一标定结果进行迭代优化的示意流程图;
图8为本申请实施例中一种机器人手眼标定装置的一个实施例结构图;
图9为本申请实施例中一种机器人的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
一般地,手眼标定可分为两种具体场景,一种是眼在手上(Eye-In-Hand),即相机(Camera)被安装在机器人的末端执行器(End Effector)上,如图1所示,另一种是眼在外(Eye-To-Hand),即相机被安装在一个固定不动的位置,而标定物(Object)被安装在机器人的末端执行器上,如图2所示。本申请实施例中以眼在外的场景为例对手眼标定的过程进行详细说明,眼在手上的场景与之类似,本申请实施例对其不再赘述。
请参阅图3,本申请实施例中一种机器人手眼标定方法的一个实施例可以包括:
步骤S301、分别获取三个以上的测量点的测量数据。
在本申请实施例中,可以控制机器人的末端执行器进行运动,并在运动过程中选取若干个测量点进行数据测量,每个测量点的测量数据均包括机器人各个关节的关节角以及相机测量得到的标定物位姿。具体的测量点数目可以根据实际情况进行设置,但至少应选取三个测量点才能求解得到标定结果。
步骤S302、根据所述测量数据进行机器人手眼标定,得到第一标定结果。
如图4所示,步骤S302具体可以包括如下过程:
步骤S3021、根据所述测量数据建立每两个测量点之间的标定方程。
在手眼标定的过程中,涉及到多个不同的坐标系,分别为以相机为基准的相机坐标系,以机器人的末端执行器为基准的末端执行器坐标系,以机器人的基座(Base)为基准的基坐标系,以标定物为基准的标定物坐标系,图5所示为各个坐标系之间的映射关系。其中,bTe为末端执行器坐标系至基坐标系的齐次变换矩阵;eTo为标定物坐标系至末端执行器坐标系的齐次变换矩阵,这是一个固定但未知的量;bTc为相机坐标系至基坐标系的齐次变换矩阵,即手眼标定的待求解量,这也是一个固定但未知的量;cTo为相机测量得到的标定物坐标系至相机坐标系的齐次变换矩阵。对应地,eTb为基坐标系至末端执行器坐标系的齐次变换矩阵;oTe为末端执行器坐标系至标定物坐标系的齐次变换矩阵;cTb为基坐标系至相机坐标系的齐次变换矩阵;oTc为相机坐标系至标定物坐标系的齐次变换矩阵。
以上的齐次变换矩阵存在如下式所示的关系:
bTc cTo=bTe eTo
上式中等号左右两边描述的都是标定物坐标系至基坐标系的齐次变换矩阵,对上式进行移项,可得:
eTb bTc cTo=eTo
上式中等号左右两边描述的都是标定物坐标系至末端执行器坐标系的齐次变换矩阵,是一个固定量。
以任意两个测量点为例,为了便于区分,将这两个测量点分别记为第一测量点和第二测量点,则可以建立如下式所示的关系:
需要注意的是,在上式以及后续过程中,右上标表示的是不同的测量点,例如,右上标为1即为第一测量点,右上标为2即为第二测量点,即为第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵,即为第二测量点的基坐标系至末端执行器坐标系的齐次变换矩阵,以此类推,此处不再赘述。
对上式进行移项,可得:
A12X=XB12
即对于任意两个测量点,可以分别根据第一测量点中的关节角计算第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵;根据第一测量点中的标定物位姿计算第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵;根据第二测量点中的关节角计算第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵;根据第二测量点中的标定物位姿计算第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵;然后可以根据这些齐次变换矩阵建立这两个测量点之间的标定方程。
步骤S3022、将每两个测量点之间的标定方程组合为标定方程组。
对于任意两个测量点,均可以建立上式所示的标定方程。三个以上的测量点两两组合,则可以得到多个标定方程,将每两个测量点之间的标定方程组合在一起,即可得到标定方程组,将其记为:
AX=XB
步骤S3023、对所述标定方程组进行求解,得到所述第一标定结果。
所述标定方程组在数学上存在多种解法,可以根据实际情况选择其中的任意一种解法进行求解,本申请实施例对此不作具体限定。为了便于区分,此处将对所述标定方程组进行求解得到的结果记为第一标定结果。
步骤S303、使用预设的优化算法对所述第一标定结果进行迭代优化,得到优化后的第二标定结果。
由于相机对标定物的姿态测量往往存在较大的误差,因此所述第一标定结果往往不能满足要求,在本申请实施例中,可以进一步通过精标定过程对其进行优化,在精标定过程中只使用标定物的位置信息对残差进行迭代。如果只考虑标定物的位置信息,那么坐标系之间可以抽象为如图6所示的映射关系。其中,epo为标定物在末端执行器坐标系中的位置,是未知量,cpo为标定物在相机坐标系中的位置,是已知量。则存在如下式所示的关系:
bTe epo=bTc cpo
而在实际中,由于测量误差的存在,等式左右两边会存在一定的误差,对于第i个测量点,将这一误差记为zi,则有:
其中,i为测量点的序号,1≤i≤m,m为测量点的总数,右上标表示的是不同的测量点,为第i个测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第i个测量点的标定物在相机坐标系中的位置,以此类推,此处不再赘述。
将epo和bTc视为变量,则可以设置如下所示的迭代变量:
其中,(bRc)3×1为相机在基坐标系中的姿态,也即bTc中的姿态信息,包括俯仰角、横滚角和偏航角,此处为三行一列的向量形式,bpc为相机在基坐标系中的位置,也即bRc中的位置信息,bpc和epo也均为三行一列的向量形式,x为所述迭代变量,此处为九行一列的向量形式。
则此时zi可以视为x的因变量,即:
进一步设置如下式所示的目标函数:
这样就可以将手眼标定的问题转化为一个非线性优化的问题,在本申请实施例中,可以采用如图7所示的算法过程进行迭代优化:
步骤S3031、计算与迭代变量的当前取值对应的雅克比矩阵。
其中,所述迭代变量的初始值由所述第一标定结果确定。具体地,在得到所述第一标定结果之后,提取其中的姿态信息,即orient(bRc)3×1,提取其中的位置信息,即bpc,根据所述第一标定结果可以进一步计算得到eTo,提取其中的位置信息,即epo。将orient(bRc)3×1、bpc和epo组合为九行一列的向量形式,即为所述迭代变量的初始值。在第一次迭代优化时,迭代变量的当前取值即为该初始值。对所述目标函数进行求导计算,并将所述迭代变量的当前取值代入求得的导数中,即可得到对应的雅克比矩阵。
步骤S3032、计算与所述迭代变量的当前取值对应的残差。
具体地,可以将所述迭代变量的当前取值代入所述目标函数中,得到的结果即为对应的残差。
步骤S3033、根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值。
具体地,可以根据下式计算所述迭代变量的更新值:
其中,xk为所述迭代变量的当前取值,Jk为与所述迭代变量的当前取值对应的雅克比矩阵,为Jk的转置矩阵,f(xk)为与所述迭代变量的当前取值对应的残差,也即目标函数中与所述迭代变量的当前取值对应的函数值,I为单位矩阵,μ为预设的优化因子,其具体取值可以根据实际情况进行设置,本申请实施例对其不作具体限定,xk+1为所述迭代变量的更新值。
步骤S3034、判断是否满足预设的迭代优化终止条件。
所述迭代优化终止条件可以为迭代次数大于预设的迭代次数阈值,或者与所述迭代变量的更新值对应的残差,即f(xk+1)小于预设的残差阈值,所述迭代次数阈值及所述残差阈值的具体取值均可以根据实际情况进行设置,本申请实施例对其不作具体限定。
当不满足所述迭代优化终止条件时,则执行步骤S3035,当满足所述迭代优化终止条件时,则执行步骤S3036。
步骤S3035、将所述迭代变量的当前取值替换为所述更新值。
然后,继续返回执行步骤S3031,进行下一次迭代优化,直至满足所述迭代优化终止条件为止。
步骤S3036、根据所述迭代变量的更新值确定所述第二标定结果。
当满足所述迭代优化终止条件时,xk+1中的第1行至第3行即为优化后的相机在基坐标系中的姿态,xk+1中的第4行至第6行即为优化后的相机在基坐标系中的位置,综合两者即可得到优化后的相机坐标系至基坐标系的齐次变换矩阵,也即最终的标定结果,将其记为第二标定结果。
综上所述,本申请实施例分别获取三个以上的测量点的测量数据;根据所述测量数据进行机器人手眼标定,得到第一标定结果;使用预设的优化算法对所述第一标定结果进行迭代优化,得到优化后的第二标定结果。通过本申请实施例,可以分步进行机器人的手眼标定,首先根据测量数据得到粗略的标定结果,即第一标定结果,然后通过不断地迭代优化,逐步减小误差,从而得到精确度较高的标定结果,即第二标定结果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种机器人手眼标定方法,图8示出了本申请实施例提供的一种机器人手眼标定装置的一个实施例结构图。
本实施例中,一种机器人手眼标定装置可以包括:
测量数据获取模块801,用于分别获取三个以上的测量点的测量数据;
第一标定模块802,用于根据所述测量数据进行机器人手眼标定,得到第一标定结果;
第二标定模块803,用于使用预设的优化算法对所述第一标定结果进行迭代优化,得到优化后的第二标定结果。
进一步地,所述第二标定模块可以包括:
雅克比矩阵计算单元,用于计算与迭代变量的当前取值对应的雅克比矩阵,其中,所述迭代变量的初始值由所述第一标定结果确定;
残差计算单元,用于计算与所述迭代变量的当前取值对应的残差;
迭代计算单元,用于根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值;
更新单元,用于当不满足预设的迭代优化终止条件时,将所述迭代变量的当前取值替换为所述更新值,并继续进行下一次迭代优化,直至满足所述迭代优化终止条件为止;
标定结果确定单元,用于当满足所述迭代优化终止条件时,根据所述迭代变量的更新值确定所述第二标定结果。
进一步地,所述迭代计算单元具体用于根据下式计算所述迭代变量的更新值:
其中,xk为所述迭代变量的当前取值,Jk为与所述迭代变量的当前取值对应的雅克比矩阵,f(xk)为与所述迭代变量的当前取值对应的残差,也即预设的目标函数中与所述迭代变量的当前取值对应的函数值,T为转置符号,I为单位矩阵,μ为预设的优化因子,xk+1为所述迭代变量的更新值。
进一步地,所述第二标定模块还可以包括:
迭代变量设置单元,用于根据下式设置所述迭代变量:
其中,x为所述迭代变量,orient(bRc)3×1为相机在基坐标系中的姿态,bpc为相机在基坐标系中的位置,epo为标定物在末端执行器坐标系中的位置;
目标函数设置单元,用于根据下式设置所述目标函数:
其中,f(x)为所述目标函数,i为测量点的序号,1≤i≤m,m为测量点的总数,为第i个测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第i个测量点的标定物在相机坐标系中的位置,bTc为相机坐标系至基坐标系的齐次变换矩阵。
进一步地,所述第一标定模块可以包括:
标定方程建立单元,用于根据所述测量数据建立每两个测量点之间的标定方程;
标定方程组建立单元,用于将每两个测量点之间的标定方程组合为标定方程组;
标定方程组求解单元,用于对所述标定方程组进行求解,得到所述第一标定结果。
进一步地,所述标定方程建立单元可以包括:
第一计算子单元,用于根据第一测量点中的关节角计算第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵;
第二计算子单元,用于根据第一测量点中的标定物位姿计算第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵;
第三计算子单元,用于根据第二测量点中的关节角计算第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵;
第四计算子单元,用于根据第二测量点中的标定物位姿计算第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵;
标定方程建立子单元,用于根据第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵、第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵、第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵、第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵建立第一测量点与第二测量点之间的标定方程。
进一步地,所述标定方程建立子单元具体用于建立如下所示的标定方程:
A12X=XB12
其中,为第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵,为第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵,为第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵,为第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵,X为待求解量。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图9示出了本申请实施例提供的一种机器人的示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。
如图9所示,该实施例的机器人9包括:处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92。所述处理器90执行所述计算机程序92时实现上述各个机器人手眼标定方法实施例中的步骤,例如图3所示的步骤S301至步骤S303。或者,所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能,例如图8所示模块801至模块803的功能。
示例性的,所述计算机程序92可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器91中,并由所述处理器90执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序92在所述机器人9中的执行过程。
本领域技术人员可以理解,图9仅仅是机器人9的示例,并不构成对机器人9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述机器人9还可以包括输入输出设备、网络接入设备、总线等。
所述处理器90可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述机器人9的内部存储单元,例如机器人9的硬盘或内存。所述存储器91也可以是所述机器人9的外部存储设备,例如所述机器人9上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器91还可以既包括所述机器人9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述机器人9所需的其它程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/机器人和方法,可以通过其它的方式实现。例如,以上所描述的装置/机器人实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种机器人手眼标定方法,其特征在于,包括:
分别获取三个以上的测量点的测量数据;
根据所述测量数据进行机器人手眼标定,得到第一标定结果;
将迭代变量的当前取值代入目标函数的导数中,得到与所述迭代变量的当前取值对应的雅克比矩阵,其中,所述迭代变量包括相机在基坐标系中的姿态、相机在基坐标系中的位置和标定物在末端执行器坐标系中的位置,所述迭代变量的初始值由所述第一标定结果确定;所述目标函数由以末端执行器坐标系为中介和以相机坐标系为中介得到的各个测量点的标定物在基坐标系中的位置误差确定;
计算与所述迭代变量的当前取值对应的残差;
根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值;
当不满足预设的迭代优化终止条件时,将所述迭代变量的当前取值替换为所述更新值,并继续进行下一次迭代优化,直至满足所述迭代优化终止条件为止;
当满足所述迭代优化终止条件时,根据所述迭代变量的更新值确定第二标定结果。
4.根据权利要求1至3中任一项所述的机器人手眼标定方法,其特征在于,所述根据所述测量数据进行机器人手眼标定,得到第一标定结果,包括:
根据所述测量数据建立每两个测量点之间的标定方程;
将每两个测量点之间的标定方程组合为标定方程组;
对所述标定方程组进行求解,得到所述第一标定结果。
5.根据权利要求4所述的机器人手眼标定方法,其特征在于,每个测量点的测量数据均包括机器人各个关节的关节角以及相机测量得到的标定物位姿;
所述根据所述测量数据建立每两个测量点之间的标定方程,包括:
根据第一测量点中的关节角计算第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵;
根据第一测量点中的标定物位姿计算第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵;
根据第二测量点中的关节角计算第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵;
根据第二测量点中的标定物位姿计算第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵;
根据第一测量点的基坐标系至末端执行器坐标系的齐次变换矩阵、第一测量点的相机坐标系至标定物坐标系的齐次变换矩阵、第二测量点的末端执行器坐标系至基坐标系的齐次变换矩阵、第二测量点的标定物坐标系至相机坐标系的齐次变换矩阵建立第一测量点与第二测量点之间的标定方程。
7.一种机器人手眼标定装置,其特征在于,包括:
测量数据获取模块,用于分别获取三个以上的测量点的测量数据;
第一标定模块,用于根据所述测量数据进行机器人手眼标定,得到第一标定结果;
第二标定模块,包括:
雅克比矩阵计算单元,用于将迭代变量的当前取值代入目标函数的导数中,得到与所述迭代变量的当前取值对应的雅克比矩阵,其中,所述迭代变量包括相机在基坐标系中的姿态、相机在基坐标系中的位置和标定物在末端执行器坐标系中的位置,所述迭代变量的初始值由所述第一标定结果确定;所述目标函数由以末端执行器坐标系为中介和以相机坐标系为中介得到的各个测量点的标定物在基坐标系中的位置误差确定;
残差计算单元,用于计算与所述迭代变量的当前取值对应的残差;
迭代计算单元,用于根据所述雅克比矩阵和所述残差对所述迭代变量的当前取值进行迭代计算,得到所述迭代变量的更新值;
更新单元,用于当不满足预设的迭代优化终止条件时,将所述迭代变量的当前取值替换为所述更新值,并继续进行下一次迭代优化,直至满足所述迭代优化终止条件为止;
标定结果确定单元,用于当满足所述迭代优化终止条件时,根据迭代变量的更新值确定第二标定结果。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的机器人手眼标定方法的步骤。
9.一种机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的机器人手眼标定方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110114619.5A CN112936301B (zh) | 2021-01-26 | 2021-01-26 | 一种机器人手眼标定方法、装置、可读存储介质及机器人 |
PCT/CN2021/124609 WO2022160787A1 (zh) | 2021-01-26 | 2021-10-19 | 一种机器人手眼标定方法, 装置, 可读存储介质及机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110114619.5A CN112936301B (zh) | 2021-01-26 | 2021-01-26 | 一种机器人手眼标定方法、装置、可读存储介质及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112936301A CN112936301A (zh) | 2021-06-11 |
CN112936301B true CN112936301B (zh) | 2023-03-03 |
Family
ID=76238322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110114619.5A Active CN112936301B (zh) | 2021-01-26 | 2021-01-26 | 一种机器人手眼标定方法、装置、可读存储介质及机器人 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112936301B (zh) |
WO (1) | WO2022160787A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112936301B (zh) * | 2021-01-26 | 2023-03-03 | 深圳市优必选科技股份有限公司 | 一种机器人手眼标定方法、装置、可读存储介质及机器人 |
CN113672866A (zh) * | 2021-07-27 | 2021-11-19 | 深圳市未来感知科技有限公司 | 测量点坐标标定方法、装置、设备及存储介质 |
CN115533922B (zh) * | 2022-11-29 | 2023-03-17 | 北京航空航天大学杭州创新研究院 | 位姿关系标定方法及装置、计算机设备和可读存储介质 |
CN115861445B (zh) * | 2022-12-23 | 2023-07-04 | 广东工业大学 | 一种基于标定板三维点云的手眼标定方法 |
CN116038720B (zh) * | 2023-04-03 | 2023-08-11 | 广东工业大学 | 一种基于点云配准的手眼标定方法、装置及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102162738A (zh) * | 2010-12-08 | 2011-08-24 | 中国科学院自动化研究所 | 摄像头与惯性传感器组合定位定姿系统的标定方法 |
CN102663767A (zh) * | 2012-05-08 | 2012-09-12 | 北京信息科技大学 | 视觉测量系统的相机参数标定优化方法 |
CN104021554A (zh) * | 2014-04-23 | 2014-09-03 | 北京大学深圳研究生院 | 基于部分传感器信息的相机-惯性传感器标定方法 |
CN105014667A (zh) * | 2015-08-06 | 2015-11-04 | 浙江大学 | 一种基于像素空间优化的相机与机器人相对位姿标定方法 |
CN107993227A (zh) * | 2017-12-15 | 2018-05-04 | 深圳先进技术研究院 | 一种获取3d腹腔镜手眼矩阵的方法和装置 |
CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
CN111986271A (zh) * | 2020-09-04 | 2020-11-24 | 廊坊和易生活网络科技股份有限公司 | 一种基于光束平差的机器人方位与手眼关系同时标定方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100468857B1 (ko) * | 2002-11-21 | 2005-01-29 | 삼성전자주식회사 | 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법 |
JP7003462B2 (ja) * | 2017-07-11 | 2022-01-20 | セイコーエプソン株式会社 | ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法 |
KR101964332B1 (ko) * | 2017-10-13 | 2019-07-31 | 재단법인대구경북과학기술원 | 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템 |
CN110842914B (zh) * | 2019-10-15 | 2022-09-23 | 上海交通大学 | 基于差分进化算法的手眼标定参数辨识方法、系统及介质 |
CN112936301B (zh) * | 2021-01-26 | 2023-03-03 | 深圳市优必选科技股份有限公司 | 一种机器人手眼标定方法、装置、可读存储介质及机器人 |
-
2021
- 2021-01-26 CN CN202110114619.5A patent/CN112936301B/zh active Active
- 2021-10-19 WO PCT/CN2021/124609 patent/WO2022160787A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102162738A (zh) * | 2010-12-08 | 2011-08-24 | 中国科学院自动化研究所 | 摄像头与惯性传感器组合定位定姿系统的标定方法 |
CN102663767A (zh) * | 2012-05-08 | 2012-09-12 | 北京信息科技大学 | 视觉测量系统的相机参数标定优化方法 |
CN104021554A (zh) * | 2014-04-23 | 2014-09-03 | 北京大学深圳研究生院 | 基于部分传感器信息的相机-惯性传感器标定方法 |
CN105014667A (zh) * | 2015-08-06 | 2015-11-04 | 浙江大学 | 一种基于像素空间优化的相机与机器人相对位姿标定方法 |
CN107993227A (zh) * | 2017-12-15 | 2018-05-04 | 深圳先进技术研究院 | 一种获取3d腹腔镜手眼矩阵的方法和装置 |
CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
CN111986271A (zh) * | 2020-09-04 | 2020-11-24 | 廊坊和易生活网络科技股份有限公司 | 一种基于光束平差的机器人方位与手眼关系同时标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112936301A (zh) | 2021-06-11 |
WO2022160787A1 (zh) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112936301B (zh) | 一种机器人手眼标定方法、装置、可读存储介质及机器人 | |
CN111015655B (zh) | 机械臂抓取方法、装置、计算机可读存储介质及机器人 | |
WO2020207190A1 (zh) | 一种三维信息确定方法、三维信息确定装置及终端设备 | |
WO2021115331A1 (zh) | 基于三角测量的坐标定位方法、装置、设备及存储介质 | |
CN112597437B (zh) | 机械臂的逆运动学解析方法、装置及设备 | |
CN113787522B (zh) | 消除机械臂累积误差的手眼标定方法 | |
CN111208809B (zh) | 机器人步态规划方法及终端设备 | |
US11935266B2 (en) | Camera parameter estimation apparatus, camera parameter estimation method, and computer-readable recording medium | |
CN111860276B (zh) | 人体关键点检测方法、装置、网络设备及存储介质 | |
CN112435193A (zh) | 一种点云数据去噪的方法、装置、存储介质和电子设备 | |
US20240001558A1 (en) | Robot calibration method, robot and computer-readable storage medium | |
CN111145634B (zh) | 一种校正地图的方法及装置 | |
CN114186189A (zh) | 坐标转换矩阵的计算方法、装置、设备及可读存储介质 | |
WO2022205845A1 (zh) | 位姿标定方法、装置、机器人及计算机可读存储介质 | |
CN112686950B (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
CN111832634A (zh) | 异物检测方法、系统、终端设备及存储介质 | |
CN113119114A (zh) | 一种机械臂运动规划方法、装置、可读存储介质及机械臂 | |
CN114387352A (zh) | 一种外参标定方法、装置、设备及存储介质 | |
CN113570659A (zh) | 拍摄装置位姿估计方法、装置、计算机设备和存储介质 | |
CN113635299A (zh) | 一种机械臂的校正方法、终端设备及存储介质 | |
CN112991463A (zh) | 相机标定方法、装置、设备、存储介质和程序产品 | |
CN109916352B (zh) | 一种获取机器人tcp坐标的方法和装置 | |
CN117475399B (zh) | 车道线拟合方法、电子设备及可读介质 | |
CN115661592B (zh) | 焊缝识别方法、装置、计算机设备及存储介质 | |
CN115115709A (zh) | 车内场景构建方法、终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |