CN111774764B - 一种焊接机器人的控制方法、控制装置及可读存储介质 - Google Patents

一种焊接机器人的控制方法、控制装置及可读存储介质 Download PDF

Info

Publication number
CN111774764B
CN111774764B CN202010672495.8A CN202010672495A CN111774764B CN 111774764 B CN111774764 B CN 111774764B CN 202010672495 A CN202010672495 A CN 202010672495A CN 111774764 B CN111774764 B CN 111774764B
Authority
CN
China
Prior art keywords
length
projection light
welding robot
welding
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010672495.8A
Other languages
English (en)
Other versions
CN111774764A (zh
Inventor
冯消冰
张俊
孙柯
段瑞民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bo Tsing Technology Co Ltd
Original Assignee
Beijing Bo Tsing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bo Tsing Technology Co Ltd filed Critical Beijing Bo Tsing Technology Co Ltd
Priority to CN202010672495.8A priority Critical patent/CN111774764B/zh
Publication of CN111774764A publication Critical patent/CN111774764A/zh
Application granted granted Critical
Publication of CN111774764B publication Critical patent/CN111774764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种焊接机器人的控制方法、控制装置及可读存储介质,其中,本申请提供的控制方法通过获取投射有平行结构光的焊接件的目标图像,基于目标图像中第一投射光线的第一长度和第二投射光线的第二长度的比较结果,可以及时判定是否对焊接机器人的行进方向进行补偿,在确定对焊接机器人的行进方向进行补偿时,基于第一长度和第二长度,确定对焊接机器人补偿的目标偏向角,这样,可以准确地调整焊接机器人的行进方向,确保焊接机器人沿焊缝方向行进,从而,提高焊缝跟踪的准确性。

Description

一种焊接机器人的控制方法、控制装置及可读存储介质
技术领域
本申请涉及焊缝跟踪技术领域,尤其是涉及一种焊接机器人的控制方法、控制装置及可读存储介质。
背景技术
焊接机器人是一种用于焊接的、可重复编程的自动控制操作机,随着电子技术、数控及传感器技术的发展,焊接机器人通常利用各类传感器对焊缝的数据进行采集、分析,获取焊缝的形状、位置等信息,通过分析焊缝数据调整焊缝机器人的行进方向,以实现焊缝跟踪。
现有的焊缝跟踪技术中,焊接机器人在焊接过程中的位姿容易发生偏移,导致焊接机器人偏离焊缝,通常只能在判断焊接机器人偏离焊缝之后,调整焊接机器人的行进方向,由于无法及时准确判断焊接机器人的位姿是否偏移,导致对焊接机器人的行进方向调整不及时,影响焊接质量。
发明内容
有鉴于此,本申请的目的在于提供一种焊接机器人的控制方法、控制装置及可读存储介质,通过获取投射有平行结构光的焊接件的目标图像,基于目标图像中第一投射光线的第一长度和第二投射光线的第二长度判定是否对焊接机器人进行行进补偿,并确定补偿的目标偏向角,以及时准确地调整焊接机器人的行进方向,提高焊缝跟踪的准确性。
本申请主要包括以下几个方面:
第一方面,本申请实施例提供了一种焊接机器人的控制方法,所述控制方法包括:
获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;
确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;
基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;
若是,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
在一种可能的实施方式中,在所述获取投射有平行结构光的焊接件的目标图像之前,所述控制方法还包括:
调整所述平行结构光的投射角度,使其在所述焊接件上投射的光线垂直于所述焊接机器人的行进方向。
在一种可能的实施方式中,若所述目标图像中的投射光线的数量大于预设阈值时,则将目标投射光线确定为第一投射光线,确定投射光线中除第一投射光线外的其他投射光线与所述第一投射光线的距离,将距离超过预设距离阈值的投射光线确定为第二投射光线,其中,所述目标投射光线为所述目标图像中的任一投射光线。
在一种可能的实施方式中,所述计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度,包括:
提取所述第一投射光线和第二投射光线的多个特征点;
基于多个所述特征点,计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
在一种可能的实施方式中,所述特征点包括端点和拐点;根据以下步骤确定所述第一长度和所述第二长度:
获取所述第一投射光线的第一端点和所述第二投射光线的第二端点,其中,所述第一端点与所述第二端点位于所述焊缝的同一侧;
将所述第一端点与第一拐点之间的距离确定为第一长度,以及将所述第二端点与第二拐点之间的距离确定为第二长度;所述第一拐点为所述焊缝与所述第一投射光线之间的交点,所述第二拐点为所述焊缝与第二投射光线之间的交点。
在一种可能的实施方式中,所述基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿,包括:
确定所述第一长度与所述第二长度之间的差值;
若所述差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
在一种可能的实施方式中,根据以下步骤补偿所述目标偏向角:
基于所述差值和预设的补偿策略,确定所述目标偏向角;
基于所述第一长度和所述第二长度的比较结果,确定沿所述焊接机器人行进方向的顺时针方向或逆时针方向进行所述目标偏向角的补偿。
第二方面,本申请实施例提供了一种焊接机器人的控制装置,所述控制装置包括:
图像获取模块,用于获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;
确定模块,用于确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;
补偿判定模块,用于基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;
控制模块,用于若确定对焊接机器人的行进方向进行补偿,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
在一种可能的实施方式中,所述控制装置还包括:
调整模块,用于调整所述平行结构光的投射角度,使其在所述焊接件上投射的光线垂直于所述焊接机器人的行进方向。
在一种可能的实施方式中,若所述目标图像中的投射光线的数量大于预设阈值时,则将目标投射光线确定为第一投射光线,确定投射光线中除第一投射光线外的其他投射光线与所述第一投射光线的距离,将距离超过预设距离阈值的投射光线确定为第二投射光线,其中,所述目标投射光线为所述目标图像中的任一投射光线。
在一种可能的实施方式中,所述确定模块包括:
特征点提取单元,用于提取所述第一投射光线和第二投射光线的多个特征点;
计算单元,用于基于多个所述特征点,计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
在一种可能的实施方式中,所述特征点包括端点和拐点;所述计算单元用于根据以下步骤确定所述第一长度和所述第二长度:
获取所述第一投射光线的第一端点和所述第二投射光线的第二端点,其中,所述第一端点与所述第二端点位于所述焊缝的同一侧;
将所述第一端点与第一拐点之间的距离确定为第一长度,以及将所述第二端点与第二拐点之间的距离确定为第二长度;所述第一拐点为所述焊缝与所述第一投射光线之间的交点,所述第二拐点为所述焊缝与第二投射光线之间的交点。
在一种可能的实施方式中,所述补偿判定模块包括:
差值确定单元,用于确定所述第一长度与所述第二长度之间的差值;
补偿确定单元,用于若所述差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
在一种可能的实施方式中,控制模块根据以下步骤补偿所述目标偏向角:
基于所述差值和预设的补偿策略,确定所述目标偏向角;
基于所述第一长度和所述第二长度的比较结果,确定沿所述焊接机器人行进方向的顺时针方向或逆时针方向进行所述目标偏向角的补偿。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或第一方面中任一种可能的实施方式中所述的一种焊接机器人的控制方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如行如上述第一方面或第一方面中任一种可能的实施方式中所述的一种焊接机器人的控制方法的步骤。
本申请实施例提供的焊接机器人的控制方法,获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;若是,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
基于上述方式,本申请通过获取投射有平行结构光的焊接件的目标图像,基于目标图像中第一投射光线的第一长度和第二投射光线的第二长度的比较结果,可以及时判定是否对焊接机器人的行进方向进行补偿,在确定对焊接机器人的行进方向进行补偿时,基于第一长度和第二长度,确定对焊接机器人补偿的目标偏向角,可以准确地调整焊接机器人的行进方向,确保焊接机器人沿焊缝方向行进,提高焊缝跟踪准确性,从而有利于提高焊接质量。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1a示出了基于单激光光源的焊接机器人正位效果示意图;
图1b示出了基于双激光光源的焊接机器人正位效果示意图;
图2示出了本申请实施例所提供的一种焊接机器人的控制方法的流程图;
图3示出了本申请另一实施例所提供的一种焊接机器人的控制方法的流程图;
图4示出了本申请实施例所提供的焊接机器人位姿对直焊缝的图像示意图;
图5示出了本申请实施例所提供的焊接机器人位姿偏离焊缝的图像示意图;
图6示出了本申请实施例所提供的一种焊接机器人的控制装置的结构示意图;
图7示出了图6中确定模块的结构示意图;
图8示出了图6中补偿判定模块的结构示意图;
图9示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
现阶段,焊接机器人通常利用各类传感器对焊缝的数据进行采集、分析,获取焊缝的形状、位置等信息,通过分析焊缝数据调整焊缝机器人的行进方向,以实现焊缝跟踪。常见的焊缝跟踪方法包括在焊接机器人的焊臂上设置单激光单相机,通过采集单激光光源在焊接件的投射图像,可以获取焊缝的界面轮廓,但是该方法无法检测焊接机器人是否正对焊缝方向。如图1a中所示,当焊缝机器人的位姿发生偏移时,通过单激光单相机采集的图像只能检测焊接机器人位于焊缝的中心,而无法检测焊缝机器人的位姿是否与焊缝对直,当焊缝机器人的位姿相对焊缝偏移时,焊缝机器人将会偏离焊缝,而在判断焊接机器人偏离焊缝之后,调整焊接机器人的行进方向,由于无法及时准确判断焊接机器人的位姿是否偏移,导致对焊接机器人的行进方向调整不及时,影响焊接效率。
而采用成对设置的激光相机校正焊接机器人位姿的方法,由于机械尺寸原因,通常将激光相机分别安装于焊接机器人的前方和后方,如图1b中所示,激光相机的安装必须严格在一条水平线上才能精确检测焊接机器人的位姿,其安装成本和设备成本较高,同时在检测焊接机器人的位姿时,需要考虑激光相机的相对位置参数,检测过程复杂,且耗时较长。
基于此,本申请实施例提供了一种焊接机器人的控制方法,以及时调整焊接机器人的行进方向,提高焊缝跟踪的时效性和准确性。
请参阅图2,图2示出了本申请实施例所提供的一种焊接机器人的控制方法的流程图。执行焊接机器人的控制方法的设备可以是与用户端进行交互的云平台或服务器。下面从执行主体为服务器的角度,对本申请实施例所提供的焊接机器人的控制方法加以说明。如图2中所示,本申请实施例提供的控制方法,包括:
S201,获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线。
在具体实施中,在焊接机器人的焊臂上设置平行结构光投射装置和图像采集装置,平行结构光投射装置用于在焊接件上投射平行结构光,平行结构光投射装置包括用于生成平行结构光的装置,如平行线激光器,图像采集装置用于每隔特定时间采集投射有平行结构光的焊接件的目标图像,目标图像中至少包括第一投射光线和第二投射光线,第一投射光线与第二投射光线平行。
需要说明的是,目标图像包括焊缝,第一投射光线、第二投射光线分别与焊缝边缘相交。
S202,确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
在具体实施中,对S201获取到的目标图像进行二值化处理,提取目标图像中的投射光线,基于投射光线确定目标图像中焊缝的位置信息,并计算位于焊缝一侧的第一投射光线的第一长度,以及与第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
这里,投射光线能够反映焊接件表面的高度变化,通过检测、分析投射光线的光路变化可以确定目标图像中焊缝的位置信息,如投射光线的“V型”所在区域可认为是焊缝区域。
S203,基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿。
在具体实施中,第一长度和第二长度的比较结果可以是第一长度与第二长度的差值,也可以是将第一长度和第二长度输入至预先训练的比较模型中,得到输出值,比较模型的参数可根据第一投射光线和第二投射光线的线路特征进行自适应调整。
S204,若是,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
在具体实施中,若确定对焊接机器人的行进方向进行补偿,则基于第一长度和第二长度,计算对焊接机器人的行进进行补偿的目标偏向角,这里,可以预设目标偏向角的调整步长,多次确定第一长度和第二长度,通过对目标偏向角的有限次的调整,使第一长度和第二长度的差值小于预设阈值;也可以基于预先设定的补偿策略,确定在当前第一长度和第二长度下的目标偏向角。进一步的,在补偿目标偏向角后,控制焊接机器人沿焊缝方向行进,及时修正焊接机器人的行进方向,以避免焊接机器人偏离焊缝区域。
本申请实施例提供的一种焊接机器人的控制方法,获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;若是,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
基于上述方式,本申请通过获取投射有平行结构光的焊接件的目标图像,基于目标图像中第一投射光线的第一长度和第二投射光线的第二长度的比较结果,可以及时判定是否对焊接机器人的行进方向进行补偿,在确定对焊接机器人的行进方向进行补偿时,基于第一长度和第二长度,确定对焊接机器人补偿的目标偏向角,可以准确地调整焊接机器人的行进方向,确保焊接机器人沿焊缝方向行进,提高焊缝跟踪准确性,从而有利于提高焊接质量。另外,相较于采用成对设置的激光相机校正焊接机器人位姿的方法,本申请实施例通过检测投射有平行结构光的焊接件的目标图像,即可实现对焊接机器人行进方向的控制,无需考虑激光相机的相对位置参数,降低安装成本,同时只需要对单张图像进行处理,检测结果的一致性较好、准确率较高。
请参阅图3,图3示出了本申请另一实施例所提供的一种焊接机器人的控制方法的流程图。如图3中所示,本申请实施例提供的控制方法,包括:
S301,获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线。
在具体实施中,目标图像包括焊缝,第一投射光线、第二投射光线分别与焊缝边缘相交。
本申请实施例中,作为一可选实施例,为使第一投射光线、第二投射光线分别与焊缝边缘相交,需要调整平行结构光的投射角度,也即在S301中所述获取投射有平行结构光的焊接件的目标图像之前,所述控制方法还包括:
调整所述平行结构光的投射角度,使其在所述焊接件上投射的光线垂直于所述焊接机器人的行进方向。
在具体实施中,通常使平行结构光在焊接件上投射的光线与焊接机器人的行进方向垂直,这样,便于计算投射光线的长度,减少计算量,有助于快速、准确地判定焊接机器人是否偏离焊缝。
本申请实施例中,作为一可选实施例,若所述目标图像中的投射光线的数量大于预设阈值时,则将目标投射光线确定为第一投射光线,确定投射光线中除第一投射光线外的其他投射光线与所述第一投射光线的距离,将距离超过预设距离阈值的投射光线确定为第二投射光线,其中,所述目标投射光线为所述目标图像中的任一投射光线。
在具体实施中,平行结构光投射装置可以在目标图像中投射大于或等于两条的投射光线,在检测出目标图像中的投射光线多于两条时,可以选取目标图像中的任一投射光线为目标投射光线,目标投射光线可以是多条投射光线中分辨率最高的,也可以是位于目标图像的最上方或者最下方的投射光线。将选取的目标投射光线确定为第一投射光线,分别计算目标图像中除第一投射光线之外的其他投射光线与第一投射光线的距离,将距离超出预设距离阈值的投射光线确定为第二投射光线,若第二投射光线的数量大于预设阈值,则可以基于投射光线的分辨率确定第二投射光线。
S302,确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
在具体实施中,从目标图像中检测出焊缝的位置信息,并确定第一长度和第二长度,检测方法可以为现有的图像检测方法,如边缘检测算法,本申请对图像检测方法不作具体的限定。
本申请实施例中,作为一可选实施例,所述计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度,包括:
提取所述第一投射光线和第二投射光线的多个特征点;基于多个所述特征点,计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
在具体实施中,分别从第一投射光线和第二投射光线中提取特征点,基于提取的特征点计算位于焊缝一侧的第一投射光线的第一长度,以及与第一投射光线位于焊缝同一侧的第二投射光线的第二长度,如图4中所示,目标图像中包括第一投射光线和第二投射光线,位于焊缝一侧的第一投射光线的第一长度a1或者a2,以及与第一投射光线位于焊缝同一侧的第二投射光线的第二长度b1或者b2。
本申请实施例中,作为一可选实施例,所述特征点包括端点和拐点;根据以下步骤确定所述第一长度和所述第二长度:
获取所述第一投射光线的第一端点和所述第二投射光线的第二端点,其中,所述第一端点与所述第二端点位于所述焊缝的同一侧;将所述第一端点与第一拐点之间的距离确定为第一长度,以及将所述第二端点与第二拐点之间的距离确定为第二长度;所述第一拐点为所述焊缝与所述第一投射光线之间的交点,所述第二拐点为所述焊缝与第二投射光线之间的交点。
在具体实施中,可以分别确定第一投射光线和第二投射光线中端点和拐点在目标图像中的位置坐标,通过计算第一投射光线的第一端点位置坐标到第一拐点位置坐标之间的距离,确定第一投射光线的第一长度,以及通过计算第二投射光线的第二端点位置坐标到第二拐点位置坐标之间的距离,确定第二投射光线的第二长度。
S303,确定所述第一长度与所述第二长度之间的差值。
在具体实施中,计算第一长度a1(或a2)和第二长度b1(或b2)之间的差值。
S304,若所述差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
在具体实施中,若第一长度a1(或a2)和第二长度b1(或b2)之间的差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
需要说明的是,为了确保判定结果的准确,可以分别计算a1与b1的第一差值和a2与b2的第二差值,若第一差值与第二差值中的任一个超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
S305,若确定对焊接机器人的行进方向进行补偿,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
本申请实施例中,作为一可选实施例,根据以下步骤补偿所述目标偏向角:
步骤3051,基于所述差值和预设的补偿策略,确定所述目标偏向角。
在具体实施中,补偿策略包括目标偏向角的计算公式或计算模型;目标偏向角的计算公式包括反函数、一次函数、和多次函数,目标偏向角的计算模型包括基于大量差值和目标偏向角样本训练得到的神经网络结构和/或模型参数。
步骤3052,基于所述第一长度和所述第二长度的比较结果,确定沿所述焊接机器人行进方向的顺时针方向或逆时针方向进行所述目标偏向角的补偿。
在具体实施中,第一长度a1(或a2)和第二长度b1(或b2)的比较结果可以包括以下几种情况:
1.1:若a1<b1和/或a2>b2,则判定焊接机器人相对焊缝右偏,沿焊接机器人行进方向的逆时针方向进行目标偏向角的补偿。
1.2:若a1>b1和/或a2<b2,则判定焊接机器人相对焊缝左偏,沿焊接机器人行进方向的顺时针方向进行目标偏向角的补偿。
其中,图5示出了本申请实施例所提供的焊接机器人位姿偏离焊缝的图像示意图,如图5中所示,目标图像中的a1<b1且a2>b2,则可以判定焊接机器人相对焊缝右偏,需要沿焊接机器人行进方向的逆时针方向进行目标偏向角的补偿,具体地,可以通过目标偏向角调整焊接机器人左、右的行进速度,以使焊接机器人与焊缝对直。
需要说明的是,第一长度可以是a1,也可以是a2,相应的,第二长度可以是b1,也可以是b2,本申请实施例可以通过比较a1和a2(或b1和b2)确定焊缝机器人是否偏离焊缝,举例而言,若a1≈b1和/或a2≈b2,可以比较a1和a2(或b1和b2)确定焊缝机器人是否偏离焊缝,此时,可以包括以下几种情况:
2.1:假设焊缝的左右坡口是对称的,即c1=c2,若a1+c1=a2+c2,则判定焊缝机器人与焊缝对齐;若a1+c1>a2+c2,则判定焊缝机器人在焊缝的右侧,需要调整焊缝机器人向左侧平移移动;a1+c1<a2+c2,则判定焊缝机器人在焊缝的左侧,需要调整焊缝机器人向右侧平移移动;
2.2:假设焊缝的左右坡口是非对称的,计算c1与c2的差值△c;若(a1+c1)-(a2+c2)=△c,则判定焊缝机器人与焊缝对齐;若(a1+c1)-(a2+c2)>△c,则判定焊缝机器人在焊缝的右侧,需要调整焊缝机器人向左侧平移移动;若(a1+c1)-(a2+c2)<△c,则判定焊缝机器人在焊缝的左侧,需要调整焊缝机器人向右侧平移移动。
这样,通过补偿目标偏向角和左右平移焊接机器人,可以在焊接机器人偏离焊缝时,及时准确地对焊接机器人的位姿进行调整,确保焊接机器人位于焊缝的中心位置并与焊缝对直,有利于提高焊接质量。
本申请实施例提供的一种焊接机器人的控制方法,获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;确定所述第一长度与所述第二长度之间的差值;若所述差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿;若确定对焊接机器人的行进方向进行补偿,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
基于上述方式,本申请通过获取投射有平行结构光的焊接件的目标图像,基于目标图像中第一投射光线的第一长度和第二投射光线的第二长度的比较结果,可以及时判定是否对焊接机器人的行进方向进行补偿,在确定对焊接机器人的行进方向进行补偿时,基于第一长度和第二长度,确定对焊接机器人补偿的目标偏向角,可以准确地调整焊接机器人的行进方向,确保焊接机器人沿焊缝方向行进,提高焊缝跟踪准确性,从而有利于提高焊接质量。另外,相较于采用成对设置的激光相机校正焊接机器人位姿的方法,本申请实施例通过检测投射有平行结构光的焊接件的目标图像,即可实现对焊接机器人行进方向的控制,无需考虑激光相机的相对位置参数,降低安装成本,同时只需要对单张图像进行处理,检测结果的一致性较好、准确率较高。
请参阅图6、图7和图8,图6示出了本申请实施例所提供的一种焊接机器人的控制装置的结构示意图,图7示出了图6中确定模块的结构示意图,图8示出了图6中补偿判定模块的结构示意图。如图6中所示,所述控制装置600包括:
图像获取模块610,用于获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;
确定模块620,用于确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;
补偿判定模块630,用于基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;
控制模块640,用于若确定对焊接机器人的行进方向进行补偿,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
本申请实施例中,作为一可选实施例,所述控制装置600还包括:
调整模块(图中未示出),用于调整所述平行结构光的投射角度,使其在所述焊接件上投射的光线垂直于所述焊接机器人的行进方向。
本申请实施例中,作为一可选实施例,若所述目标图像中的投射光线的数量大于预设阈值时,则将目标投射光线确定为第一投射光线,确定投射光线中除第一投射光线外的其他投射光线与所述第一投射光线的距离,将距离超过预设距离阈值的投射光线确定为第二投射光线,其中,所述目标投射光线为所述目标图像中的任一投射光线。
本申请实施例中,作为一可选实施例,如图7中所示,所述确定模块620包括:
特征点提取单元621,用于提取所述第一投射光线和第二投射光线的多个特征点;
计算单元622,用于基于多个所述特征点,计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
本申请实施例中,作为一可选实施例,所述特征点包括端点和拐点;所述计算单元622用于根据以下步骤确定所述第一长度和所述第二长度:
获取所述第一投射光线的第一端点和所述第二投射光线的第二端点,其中,所述第一端点与所述第二端点位于所述焊缝的同一侧;
将所述第一端点与第一拐点之间的距离确定为第一长度,以及将所述第二端点与第二拐点之间的距离确定为第二长度;所述第一拐点为所述焊缝与所述第一投射光线之间的交点,所述第二拐点为所述焊缝与第二投射光线之间的交点。
本申请实施例中,作为一可选实施例,如图8中所示,所述补偿判定模块630包括:
差值确定单元631,用于确定所述第一长度与所述第二长度之间的差值;
补偿确定单元632,用于若所述差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
本申请实施例中,作为一可选实施例,控制模块640根据以下步骤补偿所述目标偏向角:
基于所述差值和预设的补偿策略,确定所述目标偏向角;
基于所述第一长度和所述第二长度的比较结果,确定沿所述焊接机器人行进方向的顺时针方向或逆时针方向进行所述目标偏向角的补偿。
本申请实施例提供的一种焊接机器人的控制装置,包括图像获取模块、确定模块、补偿判定模块和控制模块,图像获取模块获取投射有平行结构光的焊接件的目标图像;确定模块确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;进一步的,基于所述第一长度和所述第二长度的比较结果,补偿判定模块判定是否对焊接机器人的行进方向进行补偿;若确定对焊接机器人的行进方向进行补偿,控制模块基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
这样,通过获取投射有平行结构光的焊接件的目标图像,基于目标图像中第一投射光线的第一长度和第二投射光线的第二长度的比较结果,可以及时判定是否对焊接机器人的行进方向进行补偿,在确定对焊接机器人的行进方向进行补偿时,基于第一长度和第二长度,确定对焊接机器人补偿的目标偏向角,可以准确地调整焊接机器人的行进方向,确保焊接机器人沿焊缝方向行进,提高焊缝跟踪准确性,从而有利于提高焊接质量。
请参阅图9,图9示出了本申请实施例所提供的一种电子设备的结构示意图。如图9中所示,所述电子设备900包括处理器910、存储器920和总线930。
所述存储器920存储有所述处理器910可执行的机器可读指令,当电子设备900运行时,所述处理器910与所述存储器920之间通过总线930通信,所述机器可读指令被所述处理器910执行时,可以执行如上述图2以及图3所示方法实施例中的一种焊接机器人的控制方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时可以执行如上述图2以及图3所示方法实施例中的一种焊接机器人的控制方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种焊接机器人的控制方法,其特征在于,所述控制方法包括:
获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;
确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;
基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;
若是,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
2.根据权利要求1所述的控制方法,其特征在于,在所述获取投射有平行结构光的焊接件的目标图像之前,所述控制方法还包括:
调整所述平行结构光的投射角度,使其在所述焊接件上投射的光线垂直于所述焊接机器人的行进方向。
3.根据权利要求1所述的控制方法,其特征在于,若所述目标图像中的投射光线的数量大于预设阈值时,则将目标投射光线确定为第一投射光线,确定投射光线中除第一投射光线外的其他投射光线与所述第一投射光线的距离,将距离超过预设距离阈值的投射光线确定为第二投射光线,其中,所述目标投射光线为所述目标图像中的任一投射光线。
4.根据权利要求1所述的控制方法,其特征在于,所述计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度,包括:
提取所述第一投射光线和第二投射光线的多个特征点;
基于多个所述特征点,计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度。
5.根据权利要求4所述的控制方法,其特征在于,所述特征点包括端点和拐点;根据以下步骤确定所述第一长度和所述第二长度:
获取所述第一投射光线的第一端点和所述第二投射光线的第二端点,其中,所述第一端点与所述第二端点位于所述焊缝的同一侧;
将所述第一端点与第一拐点之间的距离确定为第一长度,以及将所述第二端点与第二拐点之间的距离确定为第二长度;所述第一拐点为所述焊缝与所述第一投射光线之间的交点,所述第二拐点为所述焊缝与第二投射光线之间的交点。
6.根据权利要求1所述的控制方法,其特征在于,所述基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿,包括:
确定所述第一长度与所述第二长度之间的差值;
若所述差值超出第二预设阈值,则确定对焊接机器人的行进方向进行补偿。
7.根据权利要求6所述的控制方法,其特征在于,根据以下步骤补偿所述目标偏向角:
基于所述差值和预设的补偿策略,确定所述目标偏向角;
基于所述第一长度和所述第二长度的比较结果,确定沿所述焊接机器人行进方向的顺时针方向或逆时针方向进行所述目标偏向角的补偿。
8.一种焊接机器人的控制装置,其特征在于,所述控制装置包括:
图像获取模块,用于获取投射有平行结构光的焊接件的目标图像,所述目标图像中至少包括第一投射光线和第二投射光线;
确定模块,用于确定所述目标图像中焊缝的位置信息,并计算位于所述焊缝一侧的所述第一投射光线的第一长度,以及与所述第一投射光线位于所述焊缝同一侧的所述第二投射光线的第二长度;
补偿判定模块,用于基于所述第一长度和所述第二长度的比较结果,判定是否对焊接机器人的行进方向进行补偿;
控制模块,用于若确定对焊接机器人的行进方向进行补偿,则基于所述第一长度和所述第二长度,确定对所述焊接机器人的行进进行补偿的目标偏向角,并在补偿所述目标偏向角后,控制所述焊接机器人沿焊缝方向行进。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的一种焊接机器人的控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的一种焊接机器人的控制方法的步骤。
CN202010672495.8A 2020-07-14 2020-07-14 一种焊接机器人的控制方法、控制装置及可读存储介质 Active CN111774764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010672495.8A CN111774764B (zh) 2020-07-14 2020-07-14 一种焊接机器人的控制方法、控制装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010672495.8A CN111774764B (zh) 2020-07-14 2020-07-14 一种焊接机器人的控制方法、控制装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111774764A CN111774764A (zh) 2020-10-16
CN111774764B true CN111774764B (zh) 2022-04-08

Family

ID=72767600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010672495.8A Active CN111774764B (zh) 2020-07-14 2020-07-14 一种焊接机器人的控制方法、控制装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111774764B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112620925A (zh) * 2020-12-18 2021-04-09 北京博清科技有限公司 一种焊接控制方法与系统
CN112767491B (zh) * 2021-04-08 2021-11-12 北京博清科技有限公司 焊道拐点的确定方法、装置和计算机可读存储介质
CN114952102A (zh) * 2022-06-10 2022-08-30 上海汽车集团股份有限公司 一种植钉焊接防错机构以及植钉焊接防错方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004001168A1 (de) * 2004-01-07 2005-08-04 Daimlerchrysler Ag Verfahren und Vorrichtung zur Nahtführung beim Laserschweissen
CN202278307U (zh) * 2011-08-19 2012-06-20 广州有色金属研究院 一种可调式双线结构光焊缝跟踪视觉传感系统
CN108927619A (zh) * 2018-08-23 2018-12-04 深圳市神视检验有限公司 对机器人的运动状态控制方法及装置
CN109746597A (zh) * 2017-11-08 2019-05-14 大族激光科技产业集团股份有限公司 应用相机跟踪焊缝的方法、系统以及焊接设备
CN109986171A (zh) * 2019-05-20 2019-07-09 广东工业大学 一种焊缝定位方法、设备及系统
CN111402323A (zh) * 2020-03-31 2020-07-10 北京博清科技有限公司 对接焊缝识别方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004001168A1 (de) * 2004-01-07 2005-08-04 Daimlerchrysler Ag Verfahren und Vorrichtung zur Nahtführung beim Laserschweissen
CN202278307U (zh) * 2011-08-19 2012-06-20 广州有色金属研究院 一种可调式双线结构光焊缝跟踪视觉传感系统
CN109746597A (zh) * 2017-11-08 2019-05-14 大族激光科技产业集团股份有限公司 应用相机跟踪焊缝的方法、系统以及焊接设备
CN108927619A (zh) * 2018-08-23 2018-12-04 深圳市神视检验有限公司 对机器人的运动状态控制方法及装置
CN109986171A (zh) * 2019-05-20 2019-07-09 广东工业大学 一种焊缝定位方法、设备及系统
CN111402323A (zh) * 2020-03-31 2020-07-10 北京博清科技有限公司 对接焊缝识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双线结构光传感器的埋弧焊缝跟踪系统研究;周依霖等;《焊接试验研究》;20171231(第10期);第7-11页 *

Also Published As

Publication number Publication date
CN111774764A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111774764B (zh) 一种焊接机器人的控制方法、控制装置及可读存储介质
CN110064819B (zh) 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统
US20220331912A1 (en) Automatic welding system, automatic welding method, welding assistance device, and program
JP5584832B2 (ja) 円柱状物体の直径測定装置及び測定方法、測定プログラム
EP3943880A1 (en) Item detection device, item detection method, and industrial vehicle
US20200166349A1 (en) Parking support apparatus
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
EP3901821A1 (en) Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
CN102455171A (zh) 一种激光拼焊焊缝背面几何形貌检测方法及其实现装置
JP6755709B2 (ja) 溶接装置及び溶接方法
CN105328304A (zh) 基于统计学的焊缝起始点自动寻位方法
CN110796118B (zh) 获取运输设备的姿态调整参数方法、运输设备及存储介质
JP2012083892A (ja) 自律走行制御装置及びそれを備えた自律走行車両
CN110864691A (zh) 基于天花板式二维码的仿磁条定位方法及装置
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN113932825A (zh) 机器人导航路径宽度获取系统、方法、机器人及存储介质
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
CN111562262A (zh) 一种合金分析系统及其复检方法
KR20200143044A (ko) 이동 로봇과 이동 로봇의 엘리베이터 인식 방법
JP2006064653A (ja) 物体検出装置、および方法
CN115931397A (zh) 一种轨道交通车辆平稳状态的确定方法和确定装置
JP4018950B2 (ja) ステレオカメラの位置ずれ検査装置および位置ずれ検査方法
CN113895462A (zh) 预测车辆换道的方法、装置、计算设备及存储介质
KR20010088884A (ko) 이동 물체의 실시간 검출 방법
KR101967315B1 (ko) 차량의 전방 객체 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant