CN115383749B - 带电作业设备的标定方法、装置、控制器及存储介质 - Google Patents
带电作业设备的标定方法、装置、控制器及存储介质 Download PDFInfo
- Publication number
- CN115383749B CN115383749B CN202211306861.3A CN202211306861A CN115383749B CN 115383749 B CN115383749 B CN 115383749B CN 202211306861 A CN202211306861 A CN 202211306861A CN 115383749 B CN115383749 B CN 115383749B
- Authority
- CN
- China
- Prior art keywords
- calibration
- hand
- eye
- image
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Abstract
本发明提供了一种带电作业设备的标定方法、装置、控制器及存储介质,包括:如果所述机械臂末端固定有双目标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像;基于所述第一标定板图像对所述图像采集设备进行双目标定;如果所述双目标定的标定结果合格,且所述机械臂末端固定有手眼标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述手眼标定板的第二标定板图像;基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定,直至所述手眼标定的标定结果合格。本发明可以有效提高标定带电作业设备的自动化程度,降低时间成本和人工成本,从而可以显著提高标定带电作业设备的效率。
Description
技术领域
本发明涉及标定技术领域,尤其是涉及一种带电作业设备的标定方法、装置、控制器及存储介质。
背景技术
目前相机标定方法较为成熟,但是应用在机器人设备上的标定方法,依旧还是依靠相机获取标定板上棋盘格坐标以完成双目标定,并且没有准确的判定依据来证明双目标定结果是否准确;另外,在机器人手眼标定完成后,依靠识别棋盘格指点验证的办法去验证精度,此过程较为耗费时间,而且在部分复杂角度上无法实现指点验证。然而,现有技术提供的机器人标定方法存在自动化程度较低、较为耗费时间成本和人工成本,导致机器人标定效率较低。
发明内容
有鉴于此,本发明的目的在于提供一种带电作业设备的标定方法、装置、控制器及存储介质,可以有效提高标定带电作业设备的自动化程度,降低时间成本和人工成本,从而可以显著提高标定带电作业设备的效率。
第一方面,本发明实施例提供了一种带电作业设备的标定方法,所述方法应用于带电作业设备的控制器,所述带电作业设备设置有机械臂和图像采集设备,所述方法包括:如果所述机械臂末端固定有双目标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像;基于所述第一标定板图像对所述图像采集设备进行双目标定;如果所述双目标定的标定结果合格,且所述机械臂末端固定有手眼标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述手眼标定板的第二标定板图像;基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定,直至所述手眼标定的标定结果合格。
在一种实施方式中,所述控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像的步骤,包括:获取预先配置的标定路点集;其中,所述标定路点集包括多个标定路点;控制所述机械臂从前一标定路点移动至当前标定路点,以调整所述双目标定板相对于所述图像采集设备的第一标定板位姿;控制所述图像采集设备采集所述当前标定路点对应的第一标定板图像,并继续控制所述机械臂从所述当前标定路点移动至下一标定路点,直至得到每个所述标定路点对应的第一标定板图像。
在一种实施方式中,在所述基于所述第一标定板图像对所述图像采集设备进行双目标定的步骤之后,所述方法还包括:控制双目标定后的所述图像采集设备,采集所述双目标定板的第三标定板图像;基于所述双目标定板的标定结果和所述第三标定板图像,计算所述双目标定板中多个角点在相机坐标系下的第一坐标值;根据每个所述角点对应的所述第一坐标值,判定所述双目标定的标定结果是否合格。
所述根据每个所述角点对应的所述第一坐标值,判定所述双目标定的标定结果是否合格的步骤,包括:对每个所述角点对应的所述第一坐标值进行平面度检测得到标准差;如果所述标准差大于预设阈值,确定所述双目标定的标定结果不合格;如果所述标准差小于或等于所述预设阈值,确定所述双目标定的标定结果合格。
在一种实施方式中,所述图像采集设备配置有多个采集角度,所述基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定的步骤,包括:基于当前采集角度对应的第二标定板图像,对所述图像采集设备和所述机械臂进行手眼标定;如果所述当前采集角度下所述手眼标定的标定结果合格,则控制所述图像采集设备旋转至下一采集角度,并采集所述下一采集角度对应的第二标定板图像,直至在每个所述采集角度下所述手眼标定的标定结果均合格。
在一种实施方式中,在所述基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定的步骤之后,所述方法还包括:控制手眼标定后的所述图像采集设备,采集所述手眼标定板的第四标定板图像;基于所述第四标定板图像,确定所述手眼标定板在相机坐标系下的第二坐标值;根据所述手眼标定的标定结果,将所述第二坐标值从所述相机坐标系转换至机械臂坐标系,得到所述手眼标定板在所述机械臂坐标系下的转换后坐标值;根据所述手眼标定板在所述机械臂坐标系下的实际坐标值和所述转换后坐标值,判定所述手眼标定的标定结果是否合格;其中,所述实际坐标值是根据所述机械臂的关节角度计算得到的。
在一种实施方式中,所述方法还包括:基于所述双目标定的标定结果和/或所述手眼标定的标定结果,生成所述带电作业设备对应的标定报告。
第二方面,本发明实施例还提供一种带电作业设备的标定装置,所述装置应用于带电作业设备的控制器,所述带电作业设备设置有机械臂和图像采集设备,所述装置包括:第一控制模块,用于如果所述机械臂末端固定有双目标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像;双目标定模块,用于基于所述第一标定板图像对所述图像采集设备进行双目标定;第二控制模块,用于如果所述双目标定的标定结果合格,且所述机械臂末端固定有手眼标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述手眼标定板的第二标定板图像;手眼标定模块,用于基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定,直至所述手眼标定的标定结果合格。
第三方面,本发明实施例还提供一种控制器,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种带电作业设备的标定方法、装置、控制器及存储介质,如果机械臂末端固定有双目标定板,则控制机械臂移动,以及控制图像采集设备采集双目标定板的第一标定板图像,从而基于第一标定板图像对图像采集设备进行双目标定,在双目标定的标定结果合格,且机械臂末端固定有手眼标定板的情况下,将控制机械臂移动,以及控制图像采集设备采集手眼标定板的第二标定板图像,从而基于第二标定板图像对图像采集设备和机械臂进行手眼标定,直至手眼标定的标定结果合格。上述方法通过控制机械臂移动,可以实现调整机械臂末端固定的双目标定板和手眼标定板的位姿,再控制图像采集设备采集相应的标定板图像,即可在标定板图像的基础上对带电作业设备进行标定,本发明实施例可以自动标定带电作业设备,减少了标定过程的人为干预,可以有效提高标定带电作业设备的自动化程度,降低时间成本和人工成本,从而可以显著提高标定带电作业设备的效率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种带电作业设备的标定方法的流程示意图;
图2为本发明实施例提供的一种带电作业设备的结构示意图;
图3为本发明实施例提供的一种双目标定板工装示意图;
图4为本发明实施例提供的另一种带电作业设备的结构示意图;
图5为本发明实施例提供的一种手眼标定板工装示意图;
图6为本发明实施例提供的一种坐标系示意图;
图7为本发明实施例提供的另一种坐标系示意图;
图8为本发明实施例提供的另一种带电作业设备的标定方法的流程示意图;
图9为本发明实施例提供的一种带电作业设备的结构示意图;
图10为本发明实施例提供的一种控制器的结构示意图。
图标:1-带电作业设备本体;2-图像采集设备;3-机械臂;4-棋盘格标定板;5-第一快拆工具;6- L型安装支架;7-双目标定板固定支架;8-手眼标定板;9-第二快拆工具;10-手眼标定板安装支架;11-存储器;12-总线;13-通信接口;14-处理器;100-控制器;902-第一控制模块;904-双目标定模块;906-第二控制模块;908-手眼标定模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,现有技术提供的机器人标定方法存在自动化程度较低、较为耗费时间成本和人工成本,导致机器人标定效率较低。基于此,本发明实施提供了一种带电作业设备的标定方法、装置、控制器及存储介质,可以有效提高标定带电作业设备的自动化程度,降低时间成本和人工成本,从而可以显著提高标定带电作业设备的效率。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种带电作业设备的标定方法进行详细介绍,该方法应用于带电作业设备的控制器,带电作业设备设置有机械臂和图像采集设备,参见图1所示的一种带电作业设备的标定方法的流程示意图,该方法主要包括以下步骤S102至步骤S108:
步骤S102,如果机械臂末端固定有双目标定板,则控制机械臂移动,以及控制图像采集设备采集双目标定板的第一标定板图像。其中,双目标定板可以采用棋盘格标定板,图像采集设备可以为具备拍摄功能的设备,诸如相机。在一种实施方式中,通过控制机械臂移动,以调整双目标定板的标定板姿态,以便于图像采集设备采集不同的第一标定板图像。示例性的,预先配置标定路点集,假设将图像采集设备的拍摄视野划分为多个区域,则标定路点集中的标定路点将覆盖拍摄视野中的每个区域,另外,在每个区域对应多个(诸如,3个)不同的标定板位姿,例如,将图像采集设备的拍摄视野划分为九宫格,且每个区域对应3个不同的标定板位姿,也即共设置27个标定路点(也可称之为,棋盘格标定位置),用于对图像采集设备进行双目标定。
步骤S104,基于第一标定板图像对图像采集设备进行双目标定。其中,双目标定也即对图像采集设备的内参进行标定。在一种实施方式中,可以利用图像检测算法确定第一标定板图像中每个角点的像素坐标,另外,将世界坐标系固定于双目标定板上,则双目标定板中每个格子的大小是已知的,因此可以计算得到每一个角点在世界坐标系下的物理坐标,从而基于角点的像素坐标和物理坐标对图像采集设备进行标定,得到图像采集设备的内外参矩阵、畸变参数进行标定。
步骤S106,如果双目标定的标定结果合格,且机械臂末端固定有手眼标定板,则控制机械臂移动,以及控制图像采集设备采集手眼标定板的第二标定板图像。在一种实施方式中,当双目标定的精度满足预设阈值时,可以确定双目标定的标定结果合格。在此基础上,将手眼标定板固定于机械臂末端,当控制机械臂移动时,即可调整手眼标定板的标定板位姿,以便于图像采集设备采集不同的第二标定板图像。可选的,在每次图像采集设备均可获取第二标定板图像的前提下,每两次之间机械臂的轴变化的角度大于预设阈值,诸如,每两次之间机械臂的轴变化的角度尽可能的大。
步骤S108,基于第二标定板图像对图像采集设备和机械臂进行手眼标定,直至手眼标定的标定结果合格。在一种实施方式中,可以利用eye to hand算法,基于第二标定图像求解图像采集设备和机械臂底座坐标系之间的位姿关系,从而实现对图像采集设备和机械臂进行手眼标定,如果手眼标定的标定结果不合格,则重新控制图像采集设备采集第二标定图像,继续对图像采集设备和机械臂进行手眼标定,直至其标定结果合格。
本发明实施例提供的带电作业设备的标定方法,通过控制机械臂移动,可以实现调整机械臂末端固定的双目标定板和手眼标定板的位姿,再控制图像采集设备采集相应的标定板图像,即可在标定板图像的基础上对带电作业设备进行标定,本发明实施例可以自动标定带电作业设备,减少了标定过程的人为干预,可以有效提高标定带电作业设备的自动化程度,降低时间成本和人工成本,从而可以显著提高标定带电作业设备的效率。
为便于对前述步骤S102至步骤S104所示的双目标定进行理解,本发明实施例提供了一种双目标定的实施方式,参见图2所示的一种带电作业设备的结构示意图,图2示意出带电作业设备本体1(也可称之为,机器人本体)、图像采集设备2(也可以称之为视觉相机模组或相机)、机械臂3和棋盘格标定板4,通过控制机械臂移动,即可调整棋盘格标定板的位姿,图像采集设备即可采集到不同的棋盘格图像(也即,上述第一标定板图像)。在此基础上,本发明实施例还提供了如图3所示的一种双目标定板工装示意图,双目标定工装主要由第一快拆工具5、L型安装支架6、双目标定板固定支架7、棋盘格标定板4四个主要部分组成,第一快拆工具分别与机械臂和标定工装相连接,用于实现双目标定工装的快拆快换;L型支架用于转接双目标定板固定支架和第一快拆工具;双目标定板固定支架用于放置标定板,并通过四角的四个挡板固定位置,通过四个挡板上的螺纹孔用螺栓压紧固定;双目标定板采用角点数量11×8,间距30m的陶瓷标定板,防止热胀冷缩影响标定精度。
在前述实施例的基础上,本发明实施例提供了一种控制机械臂移动,以及控制图像采集设备采集双目标定板的第一标定板图像的实施方式,包括:(1)获取预先配置的标定路点集。其中,标定路点集包括多个标定路点;(2)控制机械臂从前一标定路点移动至当前标定路点,以调整双目标定板相对于图像采集设备的第一标定板位姿;(3)控制图像采集设备采集当前标定路点对应的第一标定板图像,并继续控制机械臂从当前标定路点移动至下一标定路点,直至得到每个标定路点对应的第一标定板图像。示例性的,将图像采集设备的拍摄视野划分为九宫格,且每个区域对应3个不同的标定板位姿,也即共设置27个标定路点,用于对图像采集设备进行双目标定。在一种实施方式中,图像采集设备每获取一张第一标定板图像,机械臂移动至下一个标定路点,直至采集到每个标定路点对应的第一标定板图像后,开启相机标定程序,自动检索所有第一标定板图像参与双目标定,双目标定的标定结果保存至指定位置。其中,双目标定的标定结果包括内参。
在一种实施方式中,在双目标定之后可以对双目标定的标定结果进行检测,具体可参见如下步骤1至步骤3:
步骤1,控制双目标定后的图像采集设备,采集双目标定板的第三标定板图像。在一种实施方式中,可以利用双目标定后的图像采集设备,再次采集棋盘格标定板的图像(也即,第三标定板图像)。
步骤2,基于双目标定板的标定结果和第三标定板图像,计算双目标定板中多个角点在相机坐标系下的第一坐标值。在一种实施方式中,可以从指定位置处读取图像采集设备的内参,并根据内参计算棋盘格标定板中各个角点在相机坐标系下的第一坐标值,该第一坐标值为三维坐标,将每个角点对应的第一坐标值保存至指定位置。
步骤3,根据每个角点对应的第一坐标值,判定双目标定的标定结果是否合格。在一种实施方式中,可以对每个角点对应的第一坐标值进行平面度检测得到标准差。如果标准差大于预设阈值,确定双目标定的标定结果不合格;如果标准差小于或等于预设阈值,确定双目标定的标定结果合格。示例性的,从指定位置处读取每个角点对应的第一坐标值,利用平面度检测程序,对第一坐标值进行平面度检测,得到第一坐标值对应的拟合平面方程,并计算每个第一坐标值到拟合平面方程之间的距离,从而基于所有距离计算得到标准差。假设预设阈值设置为0.001mm,则当标准差超过0.001mm时判定标定结果不合格,并重新对图像采集设备进行双目标定,当标准差小于或等于0.001mm时判定标定结果合格,并进入手眼标定环节。
为便于对前述步骤S106至步骤S108所示的手眼标定进行理解,本发明实施例提供了一种手眼标定的实施方式,参见图4所示的另一种带电作业设备的结构示意图,图4示意出机器人本体1、图像采集设备2、机械臂3和手眼标定板8。在此基础上,本发明实施例还提供了如图5所示的一种手眼标定板工装示意图,手眼标定工装主要由第二快拆工具9、手眼标定板安装支架10、手眼标定板8三个主要部分组成,第二快拆工具分别与机械臂和标定工装相连接,用于实现手眼标定工装的快拆快换;手眼标定板安装支架通过螺栓的形式与第二快拆工具相连接;手眼标定板规格为150×150mm 标定板,通过胶水固定的方式安装在手眼板安装支架上,保证手眼标定板在使用过程中不发生位移。
在前述实施例的基础上,本发明实施例提供了手眼标定的实施方式,对于前述步骤S106,可参见前述(1)至(3)所示的控制过程,也即在图像采集设备获取一张第二标定板图像后,机械臂移动至下一个标定路点,共有27组标定路点,获取到所有标定路点对应的第二标定板图像后,开始对图像采集设备和机械臂进行手眼标定,将手眼标定的标定结果保存至指定位置。在实际应用中,手眼标定过程实质是对图像采集设备和机械臂底座坐标系之间的位姿关系,诸如图6所示的一种坐标系示意图,以及图7所示的另一种坐标系示意图,图6示意出了像素坐标系、图像坐标系、相机坐标系和世界坐标系,图7为刚体坐标系,包括机械臂底座坐标系、相机坐标系和手眼标定板坐标系,在具体实现时,可以采用eye tohand标定算法对图像采集设备和机械臂进行手眼标定,eye to hand模式下,base-end的变换矩阵可读取机械臂状态获得,end-object的变换矩阵/>固定,base-camera的变化矩阵/>为所求关系(也即,图像采集设备和机械臂底座坐标系之间的位姿关系),camera-object的变换矩阵可由图像采集设备识别获得,此时考虑手眼标定板在两个不同位置/>和/>处拍摄了第二标定图像的情况,具有下面等式约束:
在一种实施方式中,图像采集设备配置有多个采集角度,因此在进行手眼标定时,需要依次对每个采集角度下图像采集设备与机械臂底座坐标系之间的位姿关系分别进行标定。具体的,可以基于当前采集角度对应的第二标定板图像,对图像采集设备和机械臂进行手眼标定;如果当前采集角度下手眼标定的标定结果合格,则控制图像采集设备旋转至下一采集角度,并采集下一采集角度对应的第二标定板图像,直至在每个采集角度下手眼标定的标定结果均合格。示例性的,假设图像采集设备的采集角度包括a位、b位、c位和d位,可以首先对a位左机械臂进行手眼标定,在a位左机械臂的标定结果满足精度要求时对b位左机械臂进行手眼标定,在b位左机械臂的标定结果满足精度要求对d位左机械臂进行手眼标定。当左机械臂标定结束,继续对右机械臂进行标定,同理对b位右机械臂进行手眼标定,在b位右机械臂的标定结果满足精度要求时对c位右机械臂进行手眼标定,在c位右机械臂的标定结果满足精度要求时对d位右机械臂进行手眼标定,将所有标定结果保存至指定位置。
在单个采集角度下的手眼标定结束后,需要对其手眼标定的标定结果是否合格进行验证,在一种实施方式中,可以参见如下步骤a至步骤d:
步骤a,控制手眼标定后的图像采集设备,采集手眼标定板的第四标定板图像。在一种实施方式中,可以利用手眼标定后的图像采集设备,再次采集手眼标定板的图像(也即,第四标定板图像)。
步骤b,基于第四标定板图像,确定手眼标定板在相机坐标系下的第二坐标值。在一种实施方式中,可以计算手眼标定板在相机坐标系下的第二坐标值。
步骤c,根据手眼标定的标定结果,将第二坐标值从相机坐标系转换至机械臂坐标系,得到手眼标定板在机械臂坐标系下的转换后坐标值。
步骤d,根据手眼标定板在机械臂坐标系下的实际坐标值和转换后坐标值,判定手眼标定的标定结果是否合格;其中,实际坐标值是根据机械臂的关节角度计算得到的。在一种实施方式中,可以实时获取机械臂关节角度,并根据机械臂关节角度计算手眼标定板在机械臂坐标下的实际坐标值,计算实际坐标值与转换后坐标值的差值,如果差值超过预设阈值(诸如10mm),则确定手眼标定的标定结果不合格,如果差值小于预设阈值,则确定手眼标定的标定结果合格。
在具体实现时,机械臂基坐标系与相机坐标系是刚体关系,通过标定数据,可知在机械臂基坐标系下,相机坐标恒定;在任意时刻下,都能够获取相机坐标系下手眼标定板的中心坐标和机械臂基坐标系下手眼标定板的中心坐标,因此将相机坐标系下手眼标定板的中心坐标,通过计算转换至机械臂基坐标系下(即任意时刻机械臂基坐标系下手眼标定板的坐标),然后利用读取的机械臂基坐标系下手眼标定板的中心坐标和转换后机械臂基坐标系下手眼标定板的中心坐标,实现手眼标定的快速验证。
在一种实施方式中,还可以基于双目标定的标定结果和/或手眼标定的标定结果,生成带电作业设备对应的标定报告。可选的,从指定位置处读取双目标定和手眼标定各自的标定结果,并基于标定结果生成标定报告,可便于存档和数据追溯。
本发明实施例提供的带电作业设备的标定方法,集成了双目标定、手眼标定功能,用于处理相机获取的棋盘格照片,完成标定及精度验证功能。
为便于对前述实施例进行理解,本发明实施例提供了一种带电作业设备的标定方法的应用示例,参见图8所示的另一种带电作业设备的标定方法的流程示意图,该方法主要包括以下步骤1至步骤24:
步骤1,标定环境准备。
步骤2,开始标定。
步骤3,进行双目标定。
步骤4,判断是否满足双目标定精度。如果是,执行步骤5;如果否,执行步骤3。
步骤5,开始深度相机标定。
步骤6,判断是否满足深度相机标定精度。如果是,执行步骤7;如果否,执行步骤5。
步骤7,更换左臂标定板。
步骤8,开始0位左臂手眼标定。其中,0位可以理解手眼标定的初始位置,此时转台各轴角度均为0。
步骤9,判断是否满足手眼精度。如果是,执行步骤10;如果否,执行步骤8。
步骤10,开始a位左臂手眼标定。
步骤11,判断是否满足手眼精度。如果是,执行步骤12;如果否,执行步骤10。
步骤12,开始b位左臂手眼标定。
步骤13,判断是否满足手眼精度。如果是,执行步骤14;如果否,执行步骤12。
步骤14,开始d位左臂手眼标定。
步骤15,判断是否满足手眼精度。如果是,执行步骤16;如果否,执行步骤14。
步骤16,更换右臂标定板。
步骤17,开始b位右臂手眼标定。
步骤18,判断是否满足手眼精度。如果是,执行步骤19;如果否,执行步骤17。
步骤19,开始c位右臂手眼标定。
步骤20,判断是否满足手眼精度。如果是,执行步骤21;如果否,执行步骤19。
步骤21,开始d位右臂手眼标定。
步骤22,判断是否满足手眼精度。如果是,执行步骤23;如果否,执行步骤21。
步骤23,保存标定结果。
步骤24,形成标定报告。
其中,上述步骤1、步骤2、步骤7、步骤8、步骤16和步骤17为手动步骤,其余步骤为自动步骤。
综上所述,本发明实施例提供的带电作业设备的标定方法,至少具备以下特点:
(1)整个标定过程自动进行,减少了人为干预,提高标定效率;
(2)标定路点的设置充分结合标定理论,能够较好的控制标定过程中引入的误差;
(3)每个标定环节都具备结果检测功能,保证数据的准确性;
(4)自动生成标定结果报告,用于存档和数据溯源;
(5)利用快速精度验证方式,能够对标定结果准确、高效验证。原有指点验证方式,在面对不同位置时较难调节机械臂位置,且指点过程存在风险,容易发生机械臂碰撞,且时间一般在20分钟左右,现有精度验证方式通过直接获取标定板数据并转换,在手眼标定完成后直接进行验证,无需再调节机械臂位置,验证时间缩短到了10秒,大大提高了实用性和标定效率。
对于前述实施例提供的带电作业设备的标定方法,本发明实施例提供了一种带电作业设备的标定装置,该装置应用于带电作业设备的控制器,带电作业设备设置有机械臂和图像采集设备,参见图9所示的一种带电作业设备的结构示意图,该装置主要包括以下模块:
第一控制模块902,用于如果机械臂末端固定有双目标定板,则控制机械臂移动,以及控制图像采集设备采集双目标定板的第一标定板图像;
双目标定模块904,用于基于第一标定板图像对图像采集设备进行双目标定;
第二控制模块906,用于如果双目标定的标定结果合格,且机械臂末端固定有手眼标定板,则控制机械臂移动,以及控制图像采集设备采集手眼标定板的第二标定板图像;
手眼标定模块908,用于基于第二标定板图像对图像采集设备和机械臂进行手眼标定,直至手眼标定的标定结果合格。
本发明实施例提供的带电作业设备的标定装置,通过控制机械臂移动,可以实现调整机械臂末端固定的双目标定板和手眼标定板的位姿,再控制图像采集设备采集相应的标定板图像,即可在标定板图像的基础上对带电作业设备进行标定,本发明实施例可以自动标定带电作业设备,减少了标定过程的人为干预,可以有效提高标定带电作业设备的自动化程度,降低时间成本和人工成本,从而可以显著提高标定带电作业设备的效率。
在一种实施方式中,第一控制模块902还用于:获取预先配置的标定路点集;其中,标定路点集包括多个标定路点;控制机械臂从前一标定路点移动至当前标定路点,以调整双目标定板相对于图像采集设备的第一标定板位姿;控制图像采集设备采集当前标定路点对应的第一标定板图像,并继续控制机械臂从当前标定路点移动至下一标定路点,直至得到每个标定路点对应的第一标定板图像。
在一种实施方式中,上述装置还包括双目判定模块,用于:控制双目标定后的图像采集设备,采集双目标定板的第三标定板图像;基于双目标定板的标定结果和第三标定板图像,计算双目标定板中多个角点在相机坐标系下的第一坐标值;根据每个角点对应的第一坐标值,判定双目标定的标定结果是否合格。
根据每个角点对应的第一坐标值,双目判定模块还用于:对每个角点对应的第一坐标值进行平面度检测得到标准差;如果标准差大于预设阈值,确定双目标定的标定结果不合格;如果标准差小于或等于预设阈值,确定双目标定的标定结果合格。
在一种实施方式中,图像采集设备配置有多个采集角度,手眼标定模块908还用于:基于当前采集角度对应的第二标定板图像,对图像采集设备和机械臂进行手眼标定;如果当前采集角度下手眼标定的标定结果合格,则控制图像采集设备旋转至下一采集角度,并采集下一采集角度对应的第二标定板图像,直至在每个采集角度下手眼标定的标定结果均合格。
在一种实施方式中,上述装置还包括手眼判定模块,用于:控制手眼标定后的图像采集设备,采集手眼标定板的第四标定板图像;基于第四标定板图像,确定手眼标定板在相机坐标系下的第二坐标值;根据手眼标定的标定结果,将第二坐标值从相机坐标系转换至机械臂坐标系,得到手眼标定板在机械臂坐标系下的转换后坐标值;根据手眼标定板在机械臂坐标系下的实际坐标值和转换后坐标值,判定手眼标定的标定结果是否合格;其中,实际坐标值是根据机械臂的关节角度计算得到的。
在一种实施方式中,上述装置还包括报告生成模块,用于:基于双目标定的标定结果和/或手眼标定的标定结果,生成带电作业设备对应的标定报告。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种控制器,具体的,该控制器包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
图10为本发明实施例提供的一种控制器的结构示意图,该控制器100包括:处理器14,存储器11,总线12和通信接口13,所述处理器14、通信接口13和存储器11通过总线12连接;处理器14用于执行存储器11中存储的可执行模块,例如计算机程序。
其中,存储器11可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口13(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线12可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器11用于存储程序,所述处理器14在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器14中,或者由处理器14实现。
处理器14可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器14中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器14可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器11,处理器14读取存储器11中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种带电作业设备的标定方法,其特征在于,所述方法应用于带电作业设备的控制器,所述带电作业设备设置有机械臂和图像采集设备,所述方法包括:
如果所述机械臂末端固定有双目标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像;
基于所述第一标定板图像对所述图像采集设备进行双目标定;
如果所述双目标定的标定结果合格,且所述机械臂末端固定有手眼标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述手眼标定板的第二标定板图像;其中,在每次图像采集设备均可获取第二标定板图像的前提下,每两次之间机械臂的轴变化的角度大于预设阈值;
基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定,直至所述手眼标定的标定结果合格;
其中,手眼标定工装由第二快拆工具、手眼标定板安装支架、手眼标定板组成,第二快拆工具分别与机械臂和标定工装相连接,用于实现手眼标定工装的快拆快换;手眼标定板安装支架通过螺栓的形式与第二快拆工具相连接;手眼标定板安装在手眼板安装支架上;
所述图像采集设备配置有多个采集角度,所述基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定的步骤,包括:
基于当前采集角度对应的第二标定板图像,对所述图像采集设备和所述机械臂进行手眼标定;
如果所述当前采集角度下所述手眼标定的标定结果合格,则控制所述图像采集设备旋转至下一采集角度,并采集所述下一采集角度对应的第二标定板图像,直至在每个所述采集角度下所述手眼标定的标定结果均合格。
2.根据权利要求1所述的方法,其特征在于,所述控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像的步骤,包括:
获取预先配置的标定路点集;其中,所述标定路点集包括多个标定路点;
控制所述机械臂从前一标定路点移动至当前标定路点,以调整所述双目标定板相对于所述图像采集设备的第一标定板位姿;
控制所述图像采集设备采集所述当前标定路点对应的第一标定板图像,并继续控制所述机械臂从所述当前标定路点移动至下一标定路点,直至得到每个所述标定路点对应的第一标定板图像。
3.根据权利要求1所述的方法,其特征在于,在所述基于所述第一标定板图像对所述图像采集设备进行双目标定的步骤之后,所述方法还包括:
控制双目标定后的所述图像采集设备,采集所述双目标定板的第三标定板图像;
基于所述双目标定板的标定结果和所述第三标定板图像,计算所述双目标定板中多个角点在相机坐标系下的第一坐标值;
根据每个所述角点对应的所述第一坐标值,判定所述双目标定的标定结果是否合格。
4.根据权利要求3所述的方法,其特征在于,所述根据每个所述角点对应的所述第一坐标值,判定所述双目标定的标定结果是否合格的步骤,包括:
对每个所述角点对应的所述第一坐标值进行平面度检测得到标准差;
如果所述标准差大于预设阈值,确定所述双目标定的标定结果不合格;
如果所述标准差小于或等于所述预设阈值,确定所述双目标定的标定结果合格。
5.根据权利要求1所述的方法,其特征在于,在所述基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定的步骤之后,所述方法还包括:
控制手眼标定后的所述图像采集设备,采集所述手眼标定板的第四标定板图像;
基于所述第四标定板图像,确定所述手眼标定板在相机坐标系下的第二坐标值;
根据所述手眼标定的标定结果,将所述第二坐标值从所述相机坐标系转换至机械臂坐标系,得到所述手眼标定板在所述机械臂坐标系下的转换后坐标值;
根据所述手眼标定板在所述机械臂坐标系下的实际坐标值和所述转换后坐标值,判定所述手眼标定的标定结果是否合格;其中,所述实际坐标值是根据所述机械臂的关节角度计算得到的。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
基于所述双目标定的标定结果和/或所述手眼标定的标定结果,生成所述带电作业设备对应的标定报告。
7.一种带电作业设备的标定装置,其特征在于,所述装置应用于带电作业设备的控制器,所述带电作业设备设置有机械臂和图像采集设备,所述装置包括:
第一控制模块,用于如果所述机械臂末端固定有双目标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述双目标定板的第一标定板图像;
双目标定模块,用于基于所述第一标定板图像对所述图像采集设备进行双目标定;
第二控制模块,用于如果所述双目标定的标定结果合格,且所述机械臂末端固定有手眼标定板,则控制所述机械臂移动,以及控制所述图像采集设备采集所述手眼标定板的第二标定板图像;其中,在每次图像采集设备均可获取第二标定板图像的前提下,每两次之间机械臂的轴变化的角度大于预设阈值;
手眼标定模块,用于基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定,直至所述手眼标定的标定结果合格;
其中,手眼标定工装由第二快拆工具、手眼标定板安装支架、手眼标定板组成,第二快拆工具分别与机械臂和标定工装相连接,用于实现手眼标定工装的快拆快换;手眼标定板安装支架通过螺栓的形式与第二快拆工具相连接;手眼标定板安装在手眼板安装支架上;
所述图像采集设备配置有多个采集角度,所述基于所述第二标定板图像对所述图像采集设备和所述机械臂进行手眼标定的步骤,包括:
基于当前采集角度对应的第二标定板图像,对所述图像采集设备和所述机械臂进行手眼标定;
如果所述当前采集角度下所述手眼标定的标定结果合格,则控制所述图像采集设备旋转至下一采集角度,并采集所述下一采集角度对应的第二标定板图像,直至在每个所述采集角度下所述手眼标定的标定结果均合格。
8.一种控制器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211306861.3A CN115383749B (zh) | 2022-10-25 | 2022-10-25 | 带电作业设备的标定方法、装置、控制器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211306861.3A CN115383749B (zh) | 2022-10-25 | 2022-10-25 | 带电作业设备的标定方法、装置、控制器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115383749A CN115383749A (zh) | 2022-11-25 |
CN115383749B true CN115383749B (zh) | 2023-03-24 |
Family
ID=84127705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211306861.3A Active CN115383749B (zh) | 2022-10-25 | 2022-10-25 | 带电作业设备的标定方法、装置、控制器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115383749B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117381800B (zh) * | 2023-12-12 | 2024-02-06 | 菲特(天津)检测技术有限公司 | 一种手眼标定方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113635311A (zh) * | 2021-10-18 | 2021-11-12 | 杭州灵西机器人智能科技有限公司 | 固定标定板的眼在手外标定方法和系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10290118B2 (en) * | 2015-08-06 | 2019-05-14 | Cognex Corporation | System and method for tying together machine vision coordinate spaces in a guided assembly environment |
CN107498558A (zh) * | 2017-09-19 | 2017-12-22 | 北京阿丘科技有限公司 | 全自动手眼标定方法及装置 |
US10276075B1 (en) * | 2018-03-27 | 2019-04-30 | Christie Digital System USA, Inc. | Device, system and method for automatic calibration of image devices |
CN110889874B (zh) * | 2019-12-04 | 2024-01-02 | 南京美基森信息技术有限公司 | 一种双目相机标定结果的误差评估方法 |
CN113689509A (zh) * | 2021-09-15 | 2021-11-23 | 集美大学 | 基于双目视觉的无序抓取方法、系统及存储介质 |
CN113902810B (zh) * | 2021-09-16 | 2023-06-20 | 南京工业大学 | 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法 |
CN114066983A (zh) * | 2021-11-18 | 2022-02-18 | 新拓三维技术(深圳)有限公司 | 一种基于两轴转台的智能补扫方法和计算机可读存储介质 |
CN114714356A (zh) * | 2022-04-14 | 2022-07-08 | 武汉理工大学重庆研究院 | 基于双目视觉的工业机器人手眼标定误差精确检测方法 |
-
2022
- 2022-10-25 CN CN202211306861.3A patent/CN115383749B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113635311A (zh) * | 2021-10-18 | 2021-11-12 | 杭州灵西机器人智能科技有限公司 | 固定标定板的眼在手外标定方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115383749A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111750820B (zh) | 影像定位方法及其系统 | |
CN107492127B (zh) | 光场相机参数标定方法、装置、存储介质和计算机设备 | |
JP6775263B2 (ja) | 測位方法及び装置 | |
CN115383749B (zh) | 带电作业设备的标定方法、装置、控制器及存储介质 | |
TWI420066B (zh) | 物件量測方法與系統 | |
CN111145271B (zh) | 相机参数的精确度的确定方法、装置、存储介质及终端 | |
CN106570907B (zh) | 一种相机标定方法及装置 | |
CN104613930A (zh) | 一种测距的方法、装置及移动终端 | |
CN111311632A (zh) | 一种物体位姿跟踪方法、装置及设备 | |
JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
CN111667398A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
JP2022085910A (ja) | カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置 | |
CN116958146A (zh) | 3d点云的采集方法及装置、电子装置 | |
CN114998447A (zh) | 多目视觉标定方法及系统 | |
WO2022141324A1 (zh) | 摄像头的硬件在环标定、靶点设置方法、系统及相关设备 | |
CN113379845A (zh) | 一种相机标定方法及装置、电子设备及存储介质 | |
CN109712197A (zh) | 一种机场跑道网格化标定方法及系统 | |
US20150051724A1 (en) | Computing device and simulation method for generating a double contour of an object | |
CN111353945B (zh) | 鱼眼图像校正方法、装置及存储介质 | |
CN112102415A (zh) | 基于标定球的深度相机外参数标定方法、装置及设备 | |
CN114516048B (zh) | 机器人的零点调试方法、装置、控制器及存储介质 | |
CN112419424A (zh) | 一种枪球联动标定方法、装置及相关设备 | |
CN109389645B (zh) | 相机自校准方法、系统、相机、机器人及云端服务器 | |
CN114564014A (zh) | 物体信息确定方法、移动机器人系统及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |