CN110640747A - 机器人的手眼标定方法、系统、电子设备和存储介质 - Google Patents

机器人的手眼标定方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN110640747A
CN110640747A CN201911081031.3A CN201911081031A CN110640747A CN 110640747 A CN110640747 A CN 110640747A CN 201911081031 A CN201911081031 A CN 201911081031A CN 110640747 A CN110640747 A CN 110640747A
Authority
CN
China
Prior art keywords
target
coordinate system
matrix
data
flange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911081031.3A
Other languages
English (en)
Other versions
CN110640747B (zh
Inventor
李丹
潘昕荻
周朝政
叶震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Group Corp
Original Assignee
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Group Corp filed Critical Shanghai Electric Group Corp
Priority to CN201911081031.3A priority Critical patent/CN110640747B/zh
Publication of CN110640747A publication Critical patent/CN110640747A/zh
Application granted granted Critical
Publication of CN110640747B publication Critical patent/CN110640747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人的手眼标定方法、系统、电子设备和存储介质,所述手眼标定方法包括:预设所述末端工具的末端点在法兰的法兰坐标系下的初始位置数据;分别获取第一数据集合;根据初始位置数据和第一数据集合获取基座坐标系到第二靶球坐标系的目标姿态矩阵;分别获取第二数据集合;根据初始位置数据、目标姿态矩阵和第二数据集合获取基座坐标系到第二靶球坐标系的第一目标位置矩阵,以及末端工具的末端点在法兰的法兰坐标系下的第二目标位置矩阵。本发明通过靶球的设定,使得标定过程简单,易操作,降低了对操作者的技术要求;降低了测量误差,提高了标定精度,还增大了机械臂的空间活动范围。

Description

机器人的手眼标定方法、系统、电子设备和存储介质
技术领域
本发明涉及机器人视觉标定技术领域,特别涉及一种机器人的手眼标定方法、系统、电子设备和存储介质。
背景技术
随着机器人在各个行业的广泛运用,业界对机器人运动时在空间上的重复定位精度和绝对定位精度有严格的要求,现今机器人的重复定位精度比较高,而绝对定位精度却很低。机器人的绝对定位精度由两方面决定:一是机器人工具坐标系的标定,工具坐标系的标定是安装的工具末端坐标系相对于工业机器人连杆端部坐标系的位置和姿态参数的辨识过程。二是机器人在目标空间位置的定位精度,机器人的定位过程,一般涉及到空间位置矩阵的转换,即需要在目标空间位置和机器人空间位置之间建立空间矩阵,建立空间矩阵后,机器人通过移动到达有空间矩阵确定的目标所在位置,从而完成后续的工作。
而现有绝对定位过程中,需要手动测量约束装置中心点与测量装置的距离,引入人为测量误差,而且增加标定的操作步骤;同时对测量工具要求较高,而工具本身的加工装配带来的误差将影响标定结果,而且对使用环境及操作者的专业水平要求较高,计算复杂。
发明内容
本发明要解决的技术问题是为了克服现有技术中机器人绝对定位的标定精度不够且标定过程较复杂的缺陷,提供一种机器人的手眼标定方法、系统、电子设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供一种机器人的手眼标定方法,所述机器人的机械臂末端的法兰上设有末端工具,所述末端工具上设置第一靶球,在所述机器人的基座的设定范围内设有与所述基座相对固定的第二靶球,所述手眼标定方法包括:
预设所述末端工具的末端点在所述法兰的法兰坐标系下的初始位置数据;
分别获取在同一所述法兰坐标系姿态下,所述机械臂移动到M个位置处对应的M组第一数据集合;
其中,M≥3且取整数,M个不同位置不在同一条直线上;
所述第一数据集合包括所述法兰的中心点在所述基座的基座坐标系下的第一位姿数据,和所述末端工具的末端点在所述第二靶球的第二靶球坐标系下的第一位置数据;
根据所述初始位置数据和M组所述第一数据集合获取所述基座坐标系到所述第二靶球坐标系的目标姿态矩阵;
分别获取在不同的所述法兰坐标系位姿下,所述机械臂移动到N个位置处对应的N组第二数据集合,N≥3且取整数;
其中,所述第二数据集合包括所述法兰的中心点在所述基座坐标系下的第二位姿数据,和所述末端工具的末端点在所述第二靶球坐标系下的第二位置数据;
根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
较佳地,所述根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵的步骤包括:
采用最小二乘法根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
较佳地,所述手眼标定方法还包括:
判断后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值是否小于设定误差,若否,则将所述第二目标位置矩阵作为所述初始位置数据,并根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的新的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的新的第二目标位置矩阵,直至后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值小于所述设定误差。
较佳地,所述根据所述初始位置数据和M组所述第一数据集合获取所述基座坐标系到所述第二靶球坐标系的目标姿态矩阵的步骤对应的计算公式如下:
Figure BDA0002263964350000031
Figure BDA0002263964350000033
其中,Rbm表示所述目标姿态矩阵,Tbm表示所述第一目标位置矩阵,
Figure BDA0002263964350000034
表示所述基座坐标系到所述第二靶球坐标系的齐次矩阵,Rfb表示所述第一位姿数据中姿态数据对应的姿态矩阵,Tfb所述第一位姿数据中位置数据对应的位置矩阵,
Figure BDA0002263964350000035
表示所述第一位姿数据对应的齐次矩阵,Pf表示所述第二目标位置矩阵,
Figure BDA0002263964350000036
表示所述末端工具的末端点在所述法兰坐标系下的位置数据对应的齐次矩阵,Pm表示所述第一位置数据对应的位置矩阵,
Figure BDA0002263964350000037
表示所述第一位置数据对应的齐次矩阵,i表示第i个位置处,1≤i≤M且取整数。
本发明还提供一种机器人的手眼标定系统,所述机器人的机械臂末端的法兰上设有末端工具,所述末端工具上设置第一靶球,在所述机器人的基座的设定范围内设有与所述基座相对固定的第二靶球,所述手眼标定系统包括预设模块、第一数据集合获取模块、目标姿态矩阵获取模块、第二数据集合获取模块和目标位置获取模块;
所述预设模块用于预设所述末端工具的末端点在所述法兰的法兰坐标系下的初始位置数据;
所述第一数据集合获取模块用于分别获取在同一所述法兰坐标系姿态下,所述机械臂移动到M个位置处对应的M组第一数据集合;
其中,M≥3且取整数,M个不同位置不在同一条直线上;
所述第一数据集合包括所述法兰的中心点在所述基座的基座坐标系下的第一位姿数据,和所述末端工具的末端点在所述第二靶球的第二靶球坐标系下的第一位置数据;
所述目标姿态矩阵获取模块用于根据所述初始位置数据和M组所述第一数据集合获取所述基座坐标系到所述第二靶球坐标系的目标姿态矩阵;
所述第二数据集合获取模块用于分别获取在不同的所述法兰坐标系位姿下,所述机械臂移动到N个位置处对应的N组第二数据集合,N≥3且取整数;
其中,所述第二数据集合包括所述法兰的中心点在所述基座坐标系下的第二位姿数据,和所述末端工具的末端点在所述第二靶球坐标系下的第二位置数据;
所述目标位置获取模块用于根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
较佳地,所述目标位置获取模块用于采用最小二乘法根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
较佳地,所述手眼标定系统还包括判断模块;
所述判断模块用于判断后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值是否小于设定误差,若否,则将所述第二目标位置矩阵作为所述初始位置数据,并根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的新的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的新的第二目标位置矩阵,直至后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值小于所述设定误差。
较佳地,所述目标姿态矩阵获取模块获取目标姿态矩阵对应的计算公式如下:
Figure BDA0002263964350000051
Figure BDA0002263964350000052
Figure BDA0002263964350000053
其中,Rbm表示所述目标姿态矩阵,Tbm表示所述第一目标位置矩阵,
Figure BDA0002263964350000054
表示所述基座坐标系到所述第二靶球坐标系的齐次矩阵,Rfb表示所述第一位姿数据中姿态数据对应的姿态矩阵,Tfb所述第一位姿数据中位置数据对应的位置矩阵,
Figure BDA0002263964350000055
表示所述第一位姿数据对应的齐次矩阵,Pf表示所述第二目标位置矩阵,
Figure BDA0002263964350000056
表示所述末端工具的末端点在所述法兰坐标系下的位置数据对应的齐次矩阵,Pm表示所述第一位置数据对应的位置矩阵,
Figure BDA0002263964350000057
表示所述第一位置数据对应的齐次矩阵,i表示第i个位置处,1≤i≤M且取整数。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时实现上述的机器人的手眼标定方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的机器人的手眼标定方法的步骤。
本发明的积极进步效果在于:
本发明中通过靶球的设定,使得标定过程简单,易操作,降低了对操作者的技术要求;通过在不改变法兰坐标系位姿和改变法兰坐标系位姿两种状态下获取对应的数据集合,并结合最小二乘法和牛顿迭代法完成对末端工具的末端点在法兰的法兰坐标系下的位置标定,降低了测量误差,提高了标定精度;另外,在标定完成后,可以移除第一靶球,机器人可以通过第二靶球实现机器人空间定位,从而增大了机械臂的空间活动范围。
附图说明
图1为本发明实施例1的机器人的手眼标定过程中机器人与标定部件的结构示意图。
图2为本发明实施例1的机器人的手眼标定方法的流程图。
图3为本发明实施例2的机器人的手眼标定系统的模块示意图。
图4为本发明实施例3中的实现机器人的手眼标定方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示,机器人的机械臂L末端的法兰上设有末端工具T(如手术器械),末端工具T上设置第一靶球A,在机器人的基座B的设定范围内设有与基座相对固定的第二靶球C,优选地,第二靶球C固设在基座B上。
其中,通过光学定位器D读取第一靶球A的第一靶球坐标系A1和第二靶球C的第二靶球坐标系C1原点在光学定位坐标系下的位姿,通过空间旋转矩阵变化计算得到第一靶球坐标系A1和第二靶球坐标系C1的空间变换关系。在数据采集过程中,可以通过光学定位器D读取末端工具T的末端点P在第一靶球坐标系A1和第二靶球坐标系C1下的位姿。另外,法兰的法兰坐标系对应E1,基座的基座坐标系对应F1。具体地:
如图2所示,本实施例的机器人的手眼标定方法包括:
S101、预设末端工具的末端点在法兰的法兰坐标系下的初始位置数据;
S102、分别获取在同一法兰坐标系姿态下,机械臂移动到M个位置处对应的M组第一数据集合;
其中,M≥3且取整数,M个不同位置不在同一条直线上;
第一数据集合包括法兰的中心点在基座的基座坐标系下的第一位姿数据,和末端工具的末端点在第二靶球的第二靶球坐标系下的第一位置数据;
S103、根据初始位置数据和M组第一数据集合获取基座坐标系到第二靶球坐标系的目标姿态矩阵;
具体地,计算目标姿态矩阵对应的计算公式如下:
Figure BDA0002263964350000071
Figure BDA0002263964350000072
其中,Rbm表示目标姿态矩阵,Tbm表示第一目标位置矩阵,
Figure BDA0002263964350000073
表示基座坐标系到第二靶球坐标系的齐次矩阵,Rfb表示第一位姿数据中姿态数据对应的姿态矩阵,Tfb第一位姿数据中位置数据对应的位置矩阵,
Figure BDA0002263964350000074
表示第一位姿数据对应的齐次矩阵,Pf表示第二目标位置矩阵,
Figure BDA0002263964350000075
表示末端工具的末端点在法兰坐标系下的位置数据对应的齐次矩阵,Pm表示第一位置数据对应的位置矩阵,
Figure BDA0002263964350000076
表示第一位置数据对应的齐次矩阵。
由于第二靶球刚性连接在机器人的基座上,末端工具刚性连接在法兰上,所以Rbm、Tbm和Pf这三个参数属于定值,不会随着采样点的变换而发生变化,其他的参数会随着采样点的不同而发生变化,本实施例的机器人标定过程就是确定Rbm、Tbm和Pf这三个参数。
Figure BDA0002263964350000077
等式两边第四列对应相等,可以得到:
Rbm*Rfb*Pf+Rbm*Tfb+Tbm=Pm
将M组第一数据集合中数据代入上述公式,将第i+1组和第i组对应的等式左右两边分别相减,得到M-1个线性方程组,1≤i≤M且取整数,每个方程组的形式如下:
Figure BDA0002263964350000081
可以基于Matlab(一种数据软件)等方式进行辅助计算得到目标姿态矩阵Rbm
S104、分别获取在不同的法兰坐标系位姿下,机械臂移动到N个位置处对应的N组第二数据集合,N≥3且取整数;
其中,第二数据集合包括法兰的中心点在基座坐标系下的第二位姿数据,和末端工具的末端点在第二靶球坐标系下的第二位置数据;
S105、根据初始位置数据、目标姿态矩阵和N组第二数据集合获取基座坐标系到第二靶球坐标系的第一目标位置矩阵,以及末端工具的末端点在法兰的法兰坐标系下的第二目标位置矩阵。
其中,采用最小二乘法根据初始位置数据、目标姿态矩阵和N组第二数据集合计算得到第一目标位置矩阵和第二目标位置矩阵。
另外,本实施例的手眼标定方法还包括:
判断后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值是否小于设定误差,若否,则将所述第二目标位置矩阵作为所述初始位置数据,并根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的新的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的新的第二目标位置矩阵,直至后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值小于所述设定误差。
具体地,将已经求得的目标姿态矩阵Rbm和N组第二数据集合代入至
Figure BDA0002263964350000082
得到如下公式:
Figure BDA0002263964350000083
采用最小二乘法求解出第一目标位置矩阵Tbm和第二目标位置矩阵Pf
采用牛顿迭代法对获取的第一目标位置矩阵Tbm和第二目标位置矩阵Pf进行优化,具体地,将求得的第二目标位置矩阵Pf重新带入上述等式中并采用最小二乘法求解出新的第一目标位置矩阵Tbm和新的第二目标位置矩阵Pf,直至前一次计算的Pf与后一次计算的Pf之间的差值小于设定误差时,则停止迭代计算,将此时得到的第一目标位置矩阵Tbm、第二目标位置矩阵Pf和目标姿态矩阵Rbm作为最终的标定结果。
本实施例的标定过程中,通过先不改变法兰坐标系位姿后改变法兰坐标系位姿(即先平移后旋转)采集不同位置处的数据的方式,简化了计算复杂度,易于编程实现,保证了标定过程的快速性。
本实施例中,通过靶球的设定,使得标定过程简单,易操作,降低了对操作者的技术要求;通过在不改变法兰坐标系位姿和改变法兰坐标系位姿两种状态下获取对应的数据集合,并结合最小二乘法和牛顿迭代法完成对末端工具的末端点在法兰的法兰坐标系下的位置标定,降低了测量误差,提高了标定精度,且整个标定过程快速且准确;另外,在标定完成后,可以移除第一靶球,机器人可以通过第二靶球实现机器人空间定位,避免了检测装置易受到遮挡的情况,且增大了机械臂的空间活动范围。
实施例2
如图1所示,机器人的机械臂L末端的法兰上设有末端工具T(如手术器械),末端工具T上设置第一靶球A,在机器人的基座B的设定范围内设有与基座相对固定的第二靶球C,优选地,第二靶球C固设在基座B上。
其中,通过光学定位器D读取第一靶球A的第一靶球坐标系A1和第二靶球C的第二靶球坐标系C1原点在光学定位坐标系下的位姿,通过空间旋转矩阵变化计算得到第一靶球坐标系A1和第二靶球坐标系C1的空间变换关系。在数据采集过程中,可以通过光学定位器D读取末端工具T的末端点P在第一靶球坐标系A1和第二靶球坐标系C1下的位姿。另外,法兰的法兰坐标系对应E1,基座的基座坐标系对应F1。具体地:
如图3所示,本实施例的机器人的手眼标定系统包括预设模块1、第一数据集合获取模块2、目标姿态矩阵获取模块3、第二数据集合获取模块4、目标位置获取模块5和判断模块6。
预设模块1用于预设末端工具的末端点在法兰的法兰坐标系下的初始位置数据;
第一数据集合获取模块2用于分别获取在同一法兰坐标系姿态下,机械臂移动到M个位置处对应的M组第一数据集合;
其中,M≥3且取整数,M个不同位置不在同一条直线上;
第一数据集合包括法兰的中心点在基座的基座坐标系下的第一位姿数据,和末端工具的末端点在第二靶球的第二靶球坐标系下的第一位置数据;
目标姿态矩阵获取模块3用于根据初始位置数据和M组第一数据集合获取基座坐标系到第二靶球坐标系的目标姿态矩阵;
具体地,计算目标姿态矩阵对应的计算公式如下:
Figure BDA0002263964350000101
Figure BDA0002263964350000102
其中,Rbm表示目标姿态矩阵,Tbm表示第一目标位置矩阵,表示基座坐标系到第二靶球坐标系的齐次矩阵,Rfb表示第一位姿数据中姿态数据对应的姿态矩阵,Tfb第一位姿数据中位置数据对应的位置矩阵,
Figure BDA0002263964350000104
表示第一位姿数据对应的齐次矩阵,Pf表示第二目标位置矩阵,表示末端工具的末端点在法兰坐标系下的位置数据对应的齐次矩阵,Pm表示第一位置数据对应的位置矩阵,
Figure BDA0002263964350000106
表示第一位置数据对应的齐次矩阵。
由于第二靶球刚性连接在机器人的基座上,末端工具刚性连接在法兰上,所以Rbm、Tbm和Pf这三个参数属于定值,不会随着采样点的变换而发生变化,其他的参数会随着采样点的不同而发生变化,本实施例的机器人标定过程就是确定Rbm、Tbm和Pf这三个参数。
Figure BDA0002263964350000107
等式两边第四列对应相等,可以得到:
Rbm*Rfb*Pf+Rbm*Tfb+Tbm=Pm
将M组第一数据集合中数据代入上述公式,将第i+1组和第i组对应的等式左右两边分别相减,得到M-1个线性方程组,1≤i≤M且取整数,每个方程组的形式如下:
Figure BDA0002263964350000111
可以基于Matlab(一种数据软件)等方式进行辅助计算得到目标姿态矩阵Rbm
第二数据集合获取模块4用于分别获取在不同的法兰坐标系位姿下,机械臂移动到N个位置处对应的N组第二数据集合,N≥3且取整数;
其中,第二数据集合包括法兰的中心点在基座坐标系下的第二位姿数据,和末端工具的末端点在第二靶球坐标系下的第二位置数据;
目标位置获取模块5用于根据初始位置数据、目标姿态矩阵和N组第二数据集合获取基座坐标系到第二靶球坐标系的第一目标位置矩阵,以及末端工具的末端点在法兰的法兰坐标系下的第二目标位置矩阵。
其中,目标位置获取模块5用于采用最小二乘法根据初始位置数据、目标姿态矩阵和N组第二数据集合计算得到第一目标位置矩阵和第二目标位置矩阵。
判断模块6用于判断后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值是否小于设定误差,若否,则将所述第二目标位置矩阵作为所述初始位置数据,并根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的新的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的新的第二目标位置矩阵,直至后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值小于所述设定误差。
具体地,将已经求得的目标姿态矩阵Rbm和N组第二数据集合代入至
Figure BDA0002263964350000112
得到如下公式:
采用最小二乘法求解出第一目标位置矩阵Tbm和第二目标位置矩阵Pf
采用牛顿迭代法对获取的第一目标位置矩阵Tbm和第二目标位置矩阵Pf进行优化,具体地,将求得的第二目标位置矩阵Pf重新带入上述等式中并采用最小二乘法求解出新的第一目标位置矩阵Tbm和新的第二目标位置矩阵Pf,直至前一次计算的Pf与后一次计算的Pf之间的差值小于设定误差时,则停止迭代计算,将此时得到的第一目标位置矩阵Tbm、第二目标位置矩阵Pf和目标姿态矩阵Rbm作为最终的标定结果。
本实施例的标定过程中,通过先不改变法兰坐标系位姿后改变法兰坐标系位姿(即先平移后旋转)采集不同位置处的数据的方式,简化了计算复杂度,易于编程实现,保证了标定过程的快速性。
本实施例中,通过靶球的设定,使得标定过程简单,易操作,降低了对操作者的技术要求;通过在不改变法兰坐标系位姿和改变法兰坐标系位姿两种状态下获取对应的数据集合,并结合最小二乘法和牛顿迭代法完成对末端工具的末端点在法兰的法兰坐标系下的位置标定,降低了测量误差,提高了标定精度,且整个标定过程快速且准确;另外,在标定完成后,可以移除第一靶球,机器人可以通过第二靶球实现机器人空间定位,避免了检测装置易受到遮挡的情况,且增大了机械臂的空间活动范围。
实施例3
图4为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现实施例1或2中任意一实施例中的机器人的手眼标定方法。图4显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备30可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1或2中任意一实施例中的机器人的手眼标定方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现实施例1或2中任意一实施例中的机器人的手眼标定方法中的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行实现实施例1或2中任意一实施例中的机器人的手眼标定方法中的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种机器人的手眼标定方法,其特征在于,所述机器人的机械臂末端的法兰上设有末端工具,所述末端工具上设置第一靶球,在所述机器人的基座的设定范围内设有与所述基座相对固定的第二靶球,所述手眼标定方法包括:
预设所述末端工具的末端点在所述法兰的法兰坐标系下的初始位置数据;
分别获取在同一所述法兰坐标系姿态下,所述机械臂移动到M个位置处对应的M组第一数据集合;
其中,M≥3且取整数,M个不同位置不在同一条直线上;
所述第一数据集合包括所述法兰的中心点在所述基座的基座坐标系下的第一位姿数据,和所述末端工具的末端点在所述第二靶球的第二靶球坐标系下的第一位置数据;
根据所述初始位置数据和M组所述第一数据集合获取所述基座坐标系到所述第二靶球坐标系的目标姿态矩阵;
分别获取在不同的所述法兰坐标系位姿下,所述机械臂移动到N个位置处对应的N组第二数据集合,N≥3且取整数;
其中,所述第二数据集合包括所述法兰的中心点在所述基座坐标系下的第二位姿数据,和所述末端工具的末端点在所述第二靶球坐标系下的第二位置数据;
根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
2.如权利要求1所述的机器人的手眼标定方法,其特征在于,所述根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵的步骤包括:
采用最小二乘法根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
3.如权利要求1或2所述的机器人的手眼标定方法,其特征在于,所述手眼标定方法还包括:
判断后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值是否小于设定误差,若否,则将所述第二目标位置矩阵作为所述初始位置数据,并根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的新的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的新的第二目标位置矩阵,直至后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值小于所述设定误差。
4.如权利要求1所述的机器人的手眼标定方法,其特征在于,所述根据所述初始位置数据和M组所述第一数据集合获取所述基座坐标系到所述第二靶球坐标系的目标姿态矩阵的步骤对应的计算公式如下:
Figure FDA0002263964340000021
Figure FDA0002263964340000022
Figure FDA0002263964340000023
其中,Rbm表示所述目标姿态矩阵,Tbm表示所述第一目标位置矩阵,表示所述基座坐标系到所述第二靶球坐标系的齐次矩阵,Rfb表示所述第一位姿数据中姿态数据对应的姿态矩阵,Tfb所述第一位姿数据中位置数据对应的位置矩阵,表示所述第一位姿数据对应的齐次矩阵,Pf表示所述第二目标位置矩阵,表示所述末端工具的末端点在所述法兰坐标系下的位置数据对应的齐次矩阵,Pm表示所述第一位置数据对应的位置矩阵,
Figure FDA0002263964340000027
表示所述第一位置数据对应的齐次矩阵,i表示第i个位置处,1≤i≤M且取整数。
5.一种机器人的手眼标定系统,其特征在于,所述机器人的机械臂末端的法兰上设有末端工具,所述末端工具上设置第一靶球,在所述机器人的基座的设定范围内设有与所述基座相对固定的第二靶球,所述手眼标定系统包括预设模块、第一数据集合获取模块、目标姿态矩阵获取模块、第二数据集合获取模块和目标位置获取模块;
所述预设模块用于预设所述末端工具的末端点在所述法兰的法兰坐标系下的初始位置数据;
所述第一数据集合获取模块用于分别获取在同一所述法兰坐标系姿态下,所述机械臂移动到M个位置处对应的M组第一数据集合;
其中,M≥3且取整数,M个不同位置不在同一条直线上;
所述第一数据集合包括所述法兰的中心点在所述基座的基座坐标系下的第一位姿数据,和所述末端工具的末端点在所述第二靶球的第二靶球坐标系下的第一位置数据;
所述目标姿态矩阵获取模块用于根据所述初始位置数据和M组所述第一数据集合获取所述基座坐标系到所述第二靶球坐标系的目标姿态矩阵;
所述第二数据集合获取模块用于分别获取在不同的所述法兰坐标系位姿下,所述机械臂移动到N个位置处对应的N组第二数据集合,N≥3且取整数;
其中,所述第二数据集合包括所述法兰的中心点在所述基座坐标系下的第二位姿数据,和所述末端工具的末端点在所述第二靶球坐标系下的第二位置数据;
所述目标位置获取模块用于根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
6.如权利要求5所述的机器人的手眼标定系统,其特征在于,所述目标位置获取模块用于采用最小二乘法根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的第二目标位置矩阵。
7.如权利要求5或6所述的机器人的手眼标定系统,其特征在于,所述手眼标定系统还包括判断模块;
所述判断模块用于判断后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值是否小于设定误差,若否,则将所述第二目标位置矩阵作为所述初始位置数据,并根据所述初始位置数据、所述目标姿态矩阵和N组所述第二数据集合获取所述基座坐标系到所述第二靶球坐标系的新的第一目标位置矩阵,以及所述末端工具的末端点在所述法兰的法兰坐标系下的新的第二目标位置矩阵,直至后一次得到的所述第二目标位置矩阵对应的位置数据与前一次得到的所述第二目标位置矩阵对应的位置数据的差值小于所述设定误差。
8.如权利要求5所述的机器人的手眼标定系统,其特征在于,所述目标姿态矩阵获取模块获取目标姿态矩阵对应的计算公式如下:
Figure FDA0002263964340000041
Figure FDA0002263964340000042
Figure FDA0002263964340000043
其中,Rbm表示所述目标姿态矩阵,Tbm表示所述第一目标位置矩阵,
Figure FDA0002263964340000044
表示所述基座坐标系到所述第二靶球坐标系的齐次矩阵,Rfb表示所述第一位姿数据中姿态数据对应的姿态矩阵,Tfb所述第一位姿数据中位置数据对应的位置矩阵,
Figure FDA0002263964340000045
表示所述第一位姿数据对应的齐次矩阵,Pf表示所述第二目标位置矩阵,表示所述末端工具的末端点在所述法兰坐标系下的位置数据对应的齐次矩阵,Pm表示所述第一位置数据对应的位置矩阵,
Figure FDA0002263964340000047
表示所述第一位置数据对应的齐次矩阵,i表示第i个位置处,1≤i≤M且取整数。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行计算机程序时实现权利要求1-4中任一项所述的机器人的手眼标定方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的机器人的手眼标定方法的步骤。
CN201911081031.3A 2019-11-07 2019-11-07 机器人的手眼标定方法、系统、电子设备和存储介质 Active CN110640747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911081031.3A CN110640747B (zh) 2019-11-07 2019-11-07 机器人的手眼标定方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911081031.3A CN110640747B (zh) 2019-11-07 2019-11-07 机器人的手眼标定方法、系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110640747A true CN110640747A (zh) 2020-01-03
CN110640747B CN110640747B (zh) 2023-03-24

Family

ID=68995660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911081031.3A Active CN110640747B (zh) 2019-11-07 2019-11-07 机器人的手眼标定方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110640747B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496782A (zh) * 2020-03-17 2020-08-07 吉利汽车研究院(宁波)有限公司 机器人工具点的测量系统、方法、处理设备及存储介质
CN111568554A (zh) * 2020-05-11 2020-08-25 京东方科技集团股份有限公司 定位精度获取方法、装置、电子设备及可读存储介质
CN112091971A (zh) * 2020-08-21 2020-12-18 季华实验室 机器人手眼标定方法、装置、电子设备和系统
CN112318506A (zh) * 2020-10-28 2021-02-05 上海交通大学医学院附属第九人民医院 机械臂自动标定方法、装置、设备、机械臂和介质
CN112525074A (zh) * 2020-11-24 2021-03-19 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
CN113664836A (zh) * 2021-09-15 2021-11-19 上海交通大学 手眼标定方法、机器人、介质及电子设备
CN113686278A (zh) * 2021-08-24 2021-11-23 南京衍构科技有限公司 一种高精度工业机器人工具tcp标定方法
CN114131595A (zh) * 2021-11-12 2022-03-04 清华大学 一种机器人6d位姿估计系统及方法
CN114211484A (zh) * 2021-12-01 2022-03-22 北京长木谷医疗科技有限公司 前端工具位姿同步方法、电子设备及存储介质
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN115984388A (zh) * 2023-02-28 2023-04-18 江西省智能产业技术创新研究院 一种空间定位精度评估方法、系统、存储介质及计算机

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012082A1 (en) * 1997-09-04 1999-03-11 Dynalog, Inc. Method for calibration of a robot inspection system
CN101865655A (zh) * 2010-05-26 2010-10-20 哈尔滨工业大学 基于气浮系统的空间机械臂六维位姿精度测试方法
DE102010031248A1 (de) * 2010-07-12 2012-01-12 Kuka Roboter Gmbh Verfahren zum Vermessen eines Roboterarms eines Industrieroboters
US20130010081A1 (en) * 2011-07-08 2013-01-10 Tenney John A Calibration and transformation of a camera system's coordinate system
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
CN104858870A (zh) * 2015-05-15 2015-08-26 江南大学 基于末端编号靶球的工业机器人测量方法
CN105058387A (zh) * 2015-07-17 2015-11-18 北京航空航天大学 基于激光跟踪仪的一种工业机器人基坐标系标定方法
CN108582076A (zh) * 2018-05-10 2018-09-28 武汉库柏特科技有限公司 一种基于标准球的机器人手眼标定方法及装置
CN108818535A (zh) * 2018-07-05 2018-11-16 杭州汉振科技有限公司 机器人3d视觉手眼标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN109895098A (zh) * 2019-03-25 2019-06-18 华中科技大学 一种机器人结构参数和手眼关系的统一标定模型
CN110116411A (zh) * 2019-06-06 2019-08-13 浙江汉振智能技术有限公司 一种基于球目标的机器人3d视觉手眼标定方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012082A1 (en) * 1997-09-04 1999-03-11 Dynalog, Inc. Method for calibration of a robot inspection system
CN101865655A (zh) * 2010-05-26 2010-10-20 哈尔滨工业大学 基于气浮系统的空间机械臂六维位姿精度测试方法
DE102010031248A1 (de) * 2010-07-12 2012-01-12 Kuka Roboter Gmbh Verfahren zum Vermessen eines Roboterarms eines Industrieroboters
US20130010081A1 (en) * 2011-07-08 2013-01-10 Tenney John A Calibration and transformation of a camera system's coordinate system
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
CN104858870A (zh) * 2015-05-15 2015-08-26 江南大学 基于末端编号靶球的工业机器人测量方法
CN105058387A (zh) * 2015-07-17 2015-11-18 北京航空航天大学 基于激光跟踪仪的一种工业机器人基坐标系标定方法
CN108582076A (zh) * 2018-05-10 2018-09-28 武汉库柏特科技有限公司 一种基于标准球的机器人手眼标定方法及装置
CN108818535A (zh) * 2018-07-05 2018-11-16 杭州汉振科技有限公司 机器人3d视觉手眼标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN109895098A (zh) * 2019-03-25 2019-06-18 华中科技大学 一种机器人结构参数和手眼关系的统一标定模型
CN110116411A (zh) * 2019-06-06 2019-08-13 浙江汉振智能技术有限公司 一种基于球目标的机器人3d视觉手眼标定方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496782A (zh) * 2020-03-17 2020-08-07 吉利汽车研究院(宁波)有限公司 机器人工具点的测量系统、方法、处理设备及存储介质
CN111496782B (zh) * 2020-03-17 2022-03-08 吉利汽车研究院(宁波)有限公司 机器人工具点的测量系统、方法、处理设备及存储介质
CN111568554A (zh) * 2020-05-11 2020-08-25 京东方科技集团股份有限公司 定位精度获取方法、装置、电子设备及可读存储介质
CN112091971A (zh) * 2020-08-21 2020-12-18 季华实验室 机器人手眼标定方法、装置、电子设备和系统
CN112091971B (zh) * 2020-08-21 2021-10-12 季华实验室 机器人手眼标定方法、装置、电子设备和系统
CN112318506A (zh) * 2020-10-28 2021-02-05 上海交通大学医学院附属第九人民医院 机械臂自动标定方法、装置、设备、机械臂和介质
CN112525074A (zh) * 2020-11-24 2021-03-19 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
CN113686278A (zh) * 2021-08-24 2021-11-23 南京衍构科技有限公司 一种高精度工业机器人工具tcp标定方法
CN113664836B (zh) * 2021-09-15 2023-10-10 上海交通大学 手眼标定方法、机器人、介质及电子设备
CN113664836A (zh) * 2021-09-15 2021-11-19 上海交通大学 手眼标定方法、机器人、介质及电子设备
CN114131595A (zh) * 2021-11-12 2022-03-04 清华大学 一种机器人6d位姿估计系统及方法
CN114131595B (zh) * 2021-11-12 2023-09-12 清华大学 一种机器人6d位姿估计系统及方法
WO2023098839A1 (zh) * 2021-12-01 2023-06-08 北京长木谷医疗科技有限公司 前端工具位姿同步方法、电子设备及存储介质
CN114211484B (zh) * 2021-12-01 2023-08-18 北京长木谷医疗科技有限公司 前端工具位姿同步方法、电子设备及存储介质
CN114211484A (zh) * 2021-12-01 2022-03-22 北京长木谷医疗科技有限公司 前端工具位姿同步方法、电子设备及存储介质
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN115984388A (zh) * 2023-02-28 2023-04-18 江西省智能产业技术创新研究院 一种空间定位精度评估方法、系统、存储介质及计算机

Also Published As

Publication number Publication date
CN110640747B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110640747B (zh) 机器人的手眼标定方法、系统、电子设备和存储介质
CN110640746B (zh) 机器人的坐标系标定及定位方法、系统、设备、介质
CN107738254B (zh) 一种机械臂坐标系的转换标定方法与系统
CN107995885B (zh) 一种坐标系标定方法 、系统及装置
CN108748159B (zh) 一种机械臂工具坐标系自标定方法
CN112318506B (zh) 机械臂自动标定方法、装置、设备、机械臂和介质
CN111168719B (zh) 一种基于定位工装的机器人校准方法及系统
CN113211445B (zh) 一种机器人参数标定方法、装置、设备及存储介质
CN107042528A (zh) 一种工业机器人的运动学标定系统及方法
CN111844130B (zh) 一种修正机器人末端工具位姿的方法和装置
CN111216164A (zh) 一种机器人在线校准方法、系统、存储介质及校准设备
CN114310880A (zh) 一种机械臂标定方法及装置
CN110977980A (zh) 基于光学定位仪的机械臂实时手眼标定方法及系统
CN112631200A (zh) 一种机床轴线测量方法以及装置
CN115200475B (zh) 一种臂载式多视觉传感器快速校正方法
CN116394254A (zh) 机器人的零点标定方法、装置、计算机存储介质
CN116136388A (zh) 机器人工具坐标系的标定方法、装置、设备以及存储介质
CN108592838B (zh) 工具坐标系的标定方法、装置以及计算机存储介质
CN113325430A (zh) 末端执行器安装精度测量方法、装置、设备及存储介质
CN113246146A (zh) 一种并联机器人误差校正的方法、装置以及系统
CN112596382B (zh) 一种串联型伺服机构几何参数优化标定方法和系统
CN115979231B (zh) 一种基于虚拟点位的无量纲运动学标定方法及其相关装置
CN113459084A (zh) 一种机器人参数标定方法、装置、设备及存储介质
CN116038721B (zh) 一种无运动学参与的手眼标定方法和系统
WO2024104259A1 (en) Positioning method and system for surgical robot, surgical robot and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant