CN113977584A - 焊接轨迹生成方法、装置、设备与介质 - Google Patents

焊接轨迹生成方法、装置、设备与介质 Download PDF

Info

Publication number
CN113977584A
CN113977584A CN202111397492.9A CN202111397492A CN113977584A CN 113977584 A CN113977584 A CN 113977584A CN 202111397492 A CN202111397492 A CN 202111397492A CN 113977584 A CN113977584 A CN 113977584A
Authority
CN
China
Prior art keywords
welding
weld
relative
welded
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111397492.9A
Other languages
English (en)
Inventor
万章
曹建华
徐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Friendess Electronic Technology Co ltd
Original Assignee
Shanghai Friendess Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Friendess Electronic Technology Co ltd filed Critical Shanghai Friendess Electronic Technology Co ltd
Priority to CN202111397492.9A priority Critical patent/CN113977584A/zh
Publication of CN113977584A publication Critical patent/CN113977584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种焊接轨迹生成方法、装置、设备与介质,该方法包括:获取待焊接工件的第一焊缝位置,所述第一焊缝位置为所述待焊接工件的焊缝在机床坐标系的位置;在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;基于所述当前运动轨迹,控制所述焊接头进行焊接。

Description

焊接轨迹生成方法、装置、设备与介质
技术领域
本发明涉及自动焊接领域,尤其涉及一种焊接轨迹生成方法、装置、设备与介质。
背景技术
目前在工业焊接自动化场景中,机器人需要预先学习该以怎样的轨迹运动,然后对待焊接工件中的焊缝进行焊接。
现有相关技术中,可以通过人工示教的方式指导机器人,例如通过人工操作的方式操作机器人的运动,使其焊接头能够沿对应的运动轨迹运动,机器人运动后可记忆运动轨迹,从而基于所记忆的运动轨迹实现相同工件的焊接工作。
然而,这种方式一方面对使用者技术要求高,另一方面非常的耗时,而且一次示教只能针对一种工件,缺乏通用性。
发明内容
本发明提供一种焊接轨迹生成方法、装置、设备与介质,以解决的焊接耗时、缺乏通用性问题。
根据本发明的第一方面,提供了一种焊接轨迹生成方法,包括:获取待焊接工件的第一焊缝位置,所述第一焊缝位置为所述待焊接工件的焊缝在机床坐标系的位置;在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;基于所述当前运动轨迹,控制所述焊接头进行焊接。
可选的,所述获取待焊接工件的第一焊缝位置之前,包括:
控制3D相机采集所述待焊接工件的3D图像;
识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置;
利用预先标定的转化矩阵,将所述第二焊缝位置转换至机床坐标系,得到所述第一焊缝位置。
可选的,识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置,包括:
确定所述焊缝的参考焊缝特征信息;所述焊缝的参考焊缝特征信息表征了所述焊缝在所述3D图像中所应具有的形态特征;
在所述待焊接工件的3D图像中,基于所述焊缝的参考焊缝特征信息,识别所述焊缝。
可选的,确定所述焊缝的参考焊缝特征信息,包括:
获取所述待焊接工件的类型;
基于所述待焊接工件的类型,以及不同类型与不同参考焊缝特征信息的映射关系,确定所述焊缝的参考焊缝特征信息。
可选的,所述焊缝的参考焊缝特征信息包括:所述焊缝所包含的焊缝特征单元;所述焊缝特征单元包括焊缝段和/或焊缝特征点;
若所述焊缝特征单元的数量为多个,则所述焊缝的参考焊缝特征信息还包括:以下至少之一:
所述焊缝中各焊缝特征单元的相对位置关系;
所述焊缝中各焊缝特征单元的连接关系。
可选的,所述焊接头安装于焊枪,所述焊枪通过法兰板连接机械臂,所述机械臂连接于基座,且能够相对于所述基座运动;
所述转化矩阵是通过以下过程标定的:
在所述3D相机相对于指定标记物处于第一相对位置时,获取所述3D相机采集到的包含所述指定标记物的第一3D图像,并基于所述第一3D图像,计算所述3D相机相对于所述指定标记物的第一相对位姿;
通过控制所述机械臂运动,令所述3D相机相对于指定标记物发生位置变化;
在所述3D相机相对于所述指定标记物处于第二相对位置时,获取所述3D相机采集到的包含所述指定标记物的第二3D图像,并基于所述第二3D图像,计算所述3D相机相对于所述指定标记物的第二相对位姿;
获取第三相对位姿与第四相对位姿,所述第三相对位姿为:处于所述第一相对位置时,所述机械臂的指定部位相对于所述基座的位姿;所述第四相对位姿为:处于所述第二相对位置时,所述机械臂的指定部位相对于所述基座的位姿;
基于所述第一相对位姿、所述第二相对位姿、所述第三相对位姿与所述第四相对位姿,确定目标对象相对于所述3D相机的相对位姿,得到所述转换矩阵;
其中;
若所述3D相机安装于所述机械臂并随所述机械臂运动,则所述目标对象为所述机械臂的指定部位;
若所述3D相机与所述基座的位置相对固定,则所述目标对象为所述基座。
可选的,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,包括:
确定所述焊缝的多个焊缝段之间的焊接次序,并为每个焊缝段配置一段用于焊接对应焊缝段的焊接轨迹;
若焊接次序中的第N条焊缝段的焊接轨迹与第N+1条焊缝段的焊接轨迹不连续,则产生对应的空移轨迹。
可选的,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,还包括:
通过在所述数字孪生场景中对焊接头运动过程的模拟,确定所述焊接头的图元模型沿所述当前运动轨迹运动时,所述数字孪生场景中的多个图元模型间未发生碰撞。
根据本发明的第二方面,提供了一种焊接轨迹生成装置,包括,
获取模块,用于获取待焊接工件的第一焊缝位置,所述第一焊缝位置为所述待焊接工件的焊缝在机床坐标系的位置;
轨迹生成模块,用于在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;
焊接模块,用于基于所述当前运动轨迹,控制所述焊接头进行焊接。
根据本发明的第三方面,提供了一种电子设备,包括存储器与处理器,
所述存储器,用于存储代码;
所述处理器,用于执行所述存储器中的代码用以实现以上所述的方法。
根据本发明的第四方面,提供了一种存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现以上所述的方法。
本发明提供的焊接轨迹生成方法、装置、设备与介质中,根据第一焊缝位置,在数字孪生场景中生成运动轨迹,可得到不同焊缝位置需要的焊接轨迹,避免了人工示教的方式,有效提高通用性,以及焊接效率;此外,本发明将焊接头运动轨迹分为焊接轨迹和空移轨迹,需要焊接的部分规划为焊接轨迹,仅需要焊接头移动的部分规划为空移轨迹,充分全面地模拟了真实的焊接过程,提高了所规划当前运动轨迹的精准度,还有助于保障焊接的安全性。
本发明可选方案中,通过3D相机获取待焊接工件的第一焊缝位置,确定了焊接的范围,避免用激光传感器扫描焊缝再进行额外的定位和寻位,减少焊接成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中焊接轨迹生成方法流程示意图一;
图2是本发明一实施例中焊接轨迹生成方法流程示意图二;
图3是本发明一实施例中焊接轨迹生成方法流程示意图三;
图4是本发明一实施例中焊接轨迹生成方法流程示意图四;
图5是本发明一实施例中焊接轨迹生成方法流程示意图五;
图6是本发明一实施例中焊接轨迹生成方法流程示意图六;
图7是本发明一应用场景中焊接轨迹生成方法中的实体物件焊接示意图一;
图8是本发明一应用场景中焊接轨迹生成方法中的实体物件焊接示意图二;
图9是本发明一应用场景中焊接轨迹生成方法中的实体物件焊接示意图三;
图10是本发明一应用场景中焊接轨迹生成方法中的实体物件焊接示意图四;
图11是本发明一应用场景中焊接轨迹生成方法中的实体物件焊接示意图五;
图12是本发明一实施例中焊接轨迹生成方法装置的结构示意图;
图13是本发明一实施例中电子设备构造示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
请参考图1,本发明提供了一种焊接轨迹生成方法,包括,
S11:获取待焊接工件的第一焊缝位置;
S12:在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹;
S13:基于所述当前运动轨迹,控制所述焊接头进行焊接;
所述待焊接工件表征为一个多个需要焊接的实体物件,一种举例中,待焊接工件可以包括两个以上实体物件,实体物件之间可形成所需焊接的焊缝;另一举例中,该两个以上实体物件也可以某种方式形成了初步的固定或连接,此时,其整体也可视作一个实体物件。
所述第一焊缝位置为所述待焊接工件的焊缝在机床坐标系的位置;
所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;
一种实施例中,所述焊接头的当前运动轨迹可以根据第一焊缝位置以及所述焊接工艺参数生成,所述焊接工艺参数包括以下至少之一:电流参数、电压参数、送丝速度、摆动频率,摆动幅度、停留时间、脉冲参数、气体流量,电极参数,电弧挺度,预热温度等;
其他的实施例中,针对当前需要焊接的焊缝,对焊缝进行扫描识别后,可生成焊接轨迹,并完成焊接工艺参数的设置,当识别、生成与设置完成后,将会生成当前焊缝焊接模板,其中可记载对应的运动轨迹(可视作当前运动轨迹)与工艺参数,该模板将能够适用与此焊缝工艺特征相似的任何后续批次的焊缝的焊接。可见,针对同一种待焊接工件,可以仅通过步骤S11、S12生成一次当前运动轨迹,进而,在后续相同待焊接工件的焊接过程中,可重复实施步骤S13,无需每次针对每个待焊接工件均执行步骤S11、S12。
所述数字孪生场景中模拟了所述当前焊接场景中的实体物件;一种实施例中,所述数字孪生场景是由当前焊接场景中的实体物件的图元模型组成的,所述图元模型可通过CAD软件绘制CAD图元模型,绘制的图元模型的尺寸、设计要与实体设备保持一致,一种举例中,选取和当前焊接场景适配的多个指定图元模型时,可以根据实体设备的实物型号、品牌等信息进行选择,例如,焊接场景中由图灵TKB1210型号机器人、麦格米特型号焊枪以及P型500kg变位机组成,那么便选取对应的图元模型生成数字孪生场景;
其他的实施例中,由于焊接场景的焊枪的枪管和图元模型中的枪管差别比较大,图元模型中,可以不绘制焊枪的枪管部分,只给出枪管的装配点,然后根据真实参数在数字孪生场景中自动生成。
请参考图2,步骤S11,可以包括:
S111:控制3D相机采集所述待焊接工件的3D图像;
S112:识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置;
S113:利用预先标定的转化矩阵,将所述第二焊缝位置转换至机床坐标系,得到所述第一焊缝位置;
所述待焊接工件的3D图像能够体现出待焊接工件之间的焊缝,
所述焊缝可表征为待焊接工件的多个实体物件之间的连接部分;
所述第二焊缝位置为所述待焊接工件的焊缝在相机坐标系下的位置;
所述转化矩阵可表征为将所述相机坐标系下的坐标转换成所述机床坐标系的坐标的矩阵;
一种举例中,所述3D相机安装在六轴机械臂的法兰附近;
在步骤S11之前还可以包括标定实体物件的尺寸信息,例如,焊接基座的高度、焊接机械臂的关节臂长参数以及焊接工作台的长度、宽度以及高度等。
其他实施例中,也可通过焊缝传感器来识别所述第一焊缝位置。
相较而言,通过在3D相机采集的待焊接工件的3D图像中识别焊缝,可起到有效节约成本,提高效率的技术效果。
请参考图3,步骤S112可以包括:
S1121:确定所述焊缝的参考焊缝特征信息;
S1122:在所述待焊接工件的3D图像中,基于所述焊缝的参考焊缝特征信息,识别所述焊缝;
所述焊缝的参考焊缝特征信息表征了所述焊缝在所述3D图像中所应具有的形态特征;
所述焊缝的参考焊缝特征信息包括:所述焊缝所包含的焊缝特征单元;所述焊缝特征单元包括焊缝段和/或焊缝特征点;
若所述焊缝特征单元的数量为多个,则所述焊缝的参考焊缝特征信息还包括:以下至少之一:
所述焊缝中各焊缝特征单元的相对位置关系;
所述焊缝中各焊缝特征单元的连接关系。所述焊缝所包含的焊缝特征单元,可例如指包括几个平焊缝、几个立焊缝,几个呈闭环的焊缝段,几个交叉焊缝,也可例如指包括哪几个焊缝特征点(例如图7至图11中空心圆形的点);
焊缝特征单元的相对位置关系,可例如指平焊缝、立焊缝、特征点之间的相对位置关系;
焊缝特征单元的相对连接关系,可例如指平焊缝、立焊缝、特征点之间的相对连接关系;
其他的举例中,所述特征点可以包括焊缝的起点和终点,也可以包括焊缝中焊缝段的端点(例如平焊缝、立焊缝的端点),还可包括其他位置点,所述焊缝起点和终点的工艺可以有所区别,例如焊枪的推拉角不同,入刀和退刀的电压,电流等不同;
参考焊缝特征信息还可包括焊缝段的类型,例如可以包括以下至少之一:线段型焊缝段(两端具有焊缝特征点的呈线段的焊缝段)、曲线型焊缝段(两端具有焊缝特征点的呈曲线段的焊缝段)、有向线段型焊缝段(两端具有焊缝特征点的呈直线段的且设有指向的焊缝段)、射线型焊缝段(一端具有焊缝特征点的呈射线的焊缝段)以及点组型焊缝段(沿焊缝段依次分布多个焊缝特征点的焊缝段);进而,也可以焊缝段的类型为依据识别焊缝段;
具体举例中,步骤S1122中,可通过识别焊缝特征点,以及焊缝特征点所连接焊缝段的相关信息来识别出焊缝。该相关信息可例如类型、形状、在3D图像中的排布方式(例如立焊缝还是平焊缝)中至少之一。
具体的实施例中,请参考图7、图8、图9、图10以及图11,其示意了焊缝识别的部分原理,其中的待焊接工件可视作3D相机识别出的3D图像中所显示的待焊接工件,每个待焊接工件可包含对应的一个或多个实体部件,图中加粗部分为焊缝段,空心点表示出了特征点,进而,在3D图像中,则有:
以图7为例,第一实体物件21与第二实体物件的左侧板22形成一段立焊缝,第一实体物件21与第二实体物件的中间板23形成一段平焊缝,第一实体物件21与第二实体物件的右侧板24形成一段立焊缝,一种举例中,所述第一实体物件可视作肋板,所述第二实体物件可以为H型钢或槽钢等,图7中的立焊缝为线段型焊缝段,平焊缝为曲线型焊缝段;
进而,其中的平焊缝、立焊缝(即焊缝段)和/或六个特征点均可作为焊缝特征单元,从而作为识别的依据;此外,若第一实体物件21仅焊接于左侧板22(或右侧板24)与中间板23,对应可形成一条立焊缝与一条平焊缝,其形态可参照图7中的一条立焊缝与一条平焊缝理解;
以图8为例,第三实体物件31、第四实体物件32、第五实体物件33、第六实体物件34可实现四面接的焊接,第三实体物件31与第四实体物件32间可形成一条立焊缝,第三实体物件31与第五实体物件33间可形成一条平焊缝,第三实体物件31与第六实体物件34可形成一条立焊缝,第六实体物件34与第五实体物件33可形成一条平焊缝;
进而,其中的平焊缝、立焊缝(即焊缝段)和/或六个特征点均可作为焊缝特征单元,作为识别的依据;此外,其中示意了四面接的情形,三面接、两面接的情形可类似于四面接中两个面焊接、三个面焊接的情形理解;
以图9为例,第七实体物件41、第八实体物件42以及第九实体物件43,第七实体物件41与第八实体物件42之间形成一条平焊缝,第八实体物件42与第九实体物件43之间形成一条平焊缝和一条立焊缝,第七实体物件41与第九实体物件43之间形成一条平焊缝,一种举例中,所述第七实体物件可视作车厢板,所述第八实体物件以及可以为侧板,图9中的立焊缝为线段型焊缝,其余焊缝为射线型焊缝;
进而,其中的平焊缝、立焊缝(即焊缝段)和/或三个特征点均可作为焊缝特征单元,从而作为识别的依据;此外,图9为第八实体物件42焊接与第九实体物件43的左侧,若第八实体物件42焊接于第九实体物件43的右侧,对应可形成一条立焊缝与三条平焊缝,其形态可参照图9中的一条立焊缝与三条平焊缝理解;
以图10为例,第十实体物件51、第十一实体物件52之间形成一条闭环焊缝,一种举例中,所述第十实体物件可视作管板,所述第十一实体物件可以为圆孔板或腰型孔板等,图10中的闭环焊缝为点组型焊缝;
进而,其中的闭环焊缝(即焊缝段)和/或十个特征点均可作为焊缝特征单元,作为识别的依据;此外,其中示意了腰型孔板与管板焊接的情形,圆孔板与管板焊接的情形可类似于腰型孔板与管板焊接的情形理解;
以图11为例,第十二实体物件61、第十三实体物件62之间形成一条交叉焊缝,一种举例中,所述第十二实体物件可视作直钢筋,所述第十三实体物件可以为直钢筋或折弯钢筋等,图11中的交叉焊缝为线段型焊缝;
进而,其中的交叉焊缝(即焊缝段)和/或三个特征点均可作为焊缝特征单元,作为识别的依据;此外,其中示意了直钢筋与折弯钢筋交叉焊接的情形,直钢筋与直钢筋交叉焊接的情形可类似于直钢筋与折弯钢筋交叉焊接的情形理解。
请参考图4,步骤S1121包括:
S11211:获取所述待焊接工件的焊接任务类型;
S11212:基于所述待焊接工件的类型,以及不同类型与不同参考焊缝特征信息的映射关系,确定所述焊缝的参考焊缝特征信息;
请参考图5,步骤S113,可以包括:
S1131:在所述3D相机相对于指定标记物处于第一相对位置时,获取所述3D相机采集到包含所述指定标记物的第一3D图像,并基于所述第一3D图像,计算所述3D相机相对于所述指定标记物的第一相对位姿;
S1132:通过控制所述机械臂运动,令所述3D相机相对于指定标记物发生位置变化;
S1133:在所述3D相机相对于所述指定标记物处于第二相对位置时,获取所述3D相机采集到包含所述指定标记物的第二3D图像,并基于所述第二3D图像,计算所述3D相机相对于所述指定标记物的第二相对位姿;
S1134:获取第三相对位姿与第四相对位姿,所述第三相对位姿为:处于所述第一相对位置时,所述机械臂的指定部位相对于所述基座的位姿;所述第四相对位姿为:处于所述第二相对位置时,所述机械臂的指定部位相对于所述基座的位姿;
S1135:基于所述第一相对位姿、所述第二相对位姿、所述第三相对位姿与所述第四相对位姿,确定目标部位相对于所述3D相机的相对位姿,得到所述转换矩阵;
若所述3D相机安装于所述机械臂并随所述机械臂运动,则所述目标部位为所述机械臂的指定部位;
若所述3D相机与所述基座的位置相对固定,则所述目标部位为所述基座;
所述指定标记物可表征为确定所述机械臂以及相机的位姿的相对物;
所述相对位置可表征为所述3D相机与所述指定标记物之间的位置关系;
所述第一3D图像可表征为指定标记物处于第一相对位置时,所述3D相机采集到包含所述指定标记物的3D图像;
所述第二3D图像可表征为指定标记物处于第二相对位置时,所述3D相机采集到包含所述指定标记物的3D图像;
所述相对位姿可表征为所述3D相机和所述指定标记物之间在不同相对位置下的位姿关系、所述机械臂的指定部位与所述基座之间在不同相对位置下的位姿关系,一种举例中,所述相对位姿还包括所述3D相机和所述基座之间在不同相对位置下的位姿关系;
所述机械臂的指定部位可表征为机械臂上的任意部位,一种举例中,可为机械臂的末端部分;
具体的实施例中,在第一相对位姿和第二相对位姿下,得到以下公式,
TBase End2*TEnd2 Camera2*TCamera2 Object=TBase End1*TEnd1 Camera1*TCamera1 Object
经过移项后:
TBase End1 -1*TBase End2*TEnd2 Camera2=TEnd1 Camera1*TCamera1 Object*TCamera2 Object -1
求出TEnd2 Camera2、TEnd1 Camera1之间的关系;
TBase End1为在第一相对位置下所述机械臂相对于所述基座的位姿(即第一相对位姿),TEnd1 Camera1为在第一相对位置下所述3D相机相对于所述机械臂的位姿(即第一相对位姿),TCamera1 Object为在第一相对位置下所述指定标记物相对于所述3D相机的位姿(即第一相对位姿);
TBase End2为在第二相对位置下所述机械臂相对于所述基座的位姿(即第二相对位姿),TEnd2 Camera2为在第二相对位置下所述3D相机相对于所述机械臂的位姿(即第二相对位姿),TCamera2 Object为在第二相对位置下所述指定标记物相对于所述3D相机的位姿(即第二相对位姿);
在第三相对位姿和第四相对位姿下,得到以下公式,
TEnd Base2*TBase2 Camera2*TCamera2 Object=TEnd Base1*TBase1 Camera1*TCamera1 Object
经过移项后:
TEnd Base1 -1*TEnd Base2*TBase2 Camera2=TBase1 Camera1*TCamera1 Object*TCamera2 Object -1;
求出TBase2 Camera2、TBase1 Camera1之间的关系;
TEnd Base1为在第一相对位置下所述基座相对于所述机械臂的位姿(即第三相对位姿),TBase1 Camera1为在第一相对位置下所述3D相机相对于所述基座的位姿(即第三相对位姿),TCamera1 Object为在第一相对位置下所述指定标记物相对于所述3D相机的位姿(即第三相对位姿);
TEnd Base2为在第二相对位置下所述基座相对于所述机械臂的位姿(即第四相对位姿),TBase2 Camera2为在第二相对位置下所述3D相机相对于所述基座的位姿(即第四相对位姿),TCamera2 Object为在第二相对位置下所述指定标记物相对于所述3D相机的位姿(即第四相对位姿);
所述标定矩阵为TEnd2 Camera2*TEnd1 Camera*TBase2 Camera2*TBase1 Camera1
请参考图6,步骤S12可以包括:
S121:确定所述焊缝的多个焊缝段之间的焊接次序,并为每个焊缝段配置一段用于焊接对应焊缝段的焊接轨迹;
S123:若焊接次序中的第N条焊缝段的焊接轨迹与第N+1条焊缝段的焊接轨迹不连续,则产生对应的空移轨迹;
一种实施例中,将所述焊接轨迹与空移轨迹发送到所述用于焊接的机器人,由机器人操控所述焊接头沿所述焊接轨迹与空移轨迹开始焊接;
请参考图6,步骤S12,还可以包括:
S123:通过在所述数字孪生场景中对焊接头运动过程的模拟,确定所述焊接头沿所述当前运动轨迹运动时,所述数字孪生场景中的多个图元模型间未发生碰撞;
所述多个图元模型包括:焊接头的图元模型、焊枪的图元模型、机械臂的图元模型、基座的图元模型以及待焊接工件的图元模型等;
综上所述,在本发明的具体方案中,可具备以下积极效果:
本发明提供的焊接轨迹生成方法、装置、设备与介质中,根据第一焊缝位置,在数字孪生场景中生成运动轨迹,可得到不同焊缝位置需要的焊接轨迹,避免了人工示教的方式,有效提高通用性,以及焊接效率;此外,本发明将焊接头运动轨迹分为焊接轨迹和空移轨迹,需要焊接的部分规划为焊接轨迹,仅需要焊接头移动的部分规划为空移轨迹,充分全面地模拟了真实的焊接过程,提高了所规划当前运动轨迹的精准度,还有助于保障焊接的安全性。
本发明可选方案中,通过3D相机获取待焊接工件的第一焊缝位置,确定了焊接的范围,避免用激光传感器扫描焊缝再进行额外的定位和寻位,减少焊接成本。
请参考图12,本发明提供了一种焊接轨迹生成装置7,包括:
获取模块71,用于获取待焊接工件的第一焊缝位置,所述第一焊缝位置在为所述待焊接工件的焊缝在机床坐标系的位置;
可选的,所述获取待焊接工件的第一焊缝位置之前,包括:
控制3D相机采集所述待焊接工件的3D图像;
识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置;
利用预先标定的转化矩阵,将所述第二焊缝位置转换至机床坐标系,得到所述第一焊缝位置。
可选的,识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置,包括:
确定所述焊缝的参考焊缝特征信息;所述焊缝的参考焊缝特征信息表征了所述焊缝在所述3D图像中所应具有的形态特征;
在所述待焊接工件的3D图像中,基于所述焊缝的参考焊缝特征信息,识别所述焊缝。
可选的,确定所述焊缝的参考焊缝特征信息,包括:
获取所述待焊接工件的类型;
基于所述待焊接工件的类型,以及不同类型与不同参考焊缝特征信息的映射关系,确定所述焊缝的参考焊缝特征信息。
可选的,所述焊缝的参考焊缝特征信息包括:所述焊缝所包含的焊缝特征单元;所述焊缝特征单元包括焊缝段和/或焊缝特征点;
若所述焊缝特征单元的数量为多个,则所述焊缝的参考焊缝特征信息还包括:以下至少之一:
所述焊缝中各焊缝特征单元的相对位置关系;
所述焊缝中各焊缝特征单元的连接关系。
可选的,所述焊接头安装于焊枪,所述焊枪通过法兰板连接机械臂,所述机械臂连接于基座,且能够相对于所述基座运动;
所述转化矩阵是通过以下过程标定的:
在所述3D相机相对于指定标记物处于第一相对位置时,获取所述3D相机采集到包含所述指定标记物的第一3D图像,并基于所述第一3D图像,计算所述3D相机相对于所述指定标记物的第一相对位姿;
通过控制所述机械臂运动,令所述3D相机相对于指定标记物发生位置变化;
在所述3D相机相对于所述指定标记物处于第二相对位置时,获取所述3D相机采集到包含所述指定标记物的第二3D图像,并基于所述第二3D图像,计算所述3D相机相对于所述指定标记物的第二相对位姿;
获取第三相对位姿与第四相对位姿,所述第三相对位姿为:处于所述第一相对位置时,所述机械臂的指定部位相对于所述基座的位姿;所述第四相对位姿为:处于所述第二相对位置时,所述机械臂的指定部位相对于所述基座的位姿;
基于所述第一相对位姿、所述第二相对位姿、所述第三相对位姿与所述第四相对位姿,确定目标部位相对于所述3D相机的相对位姿,得到所述转换矩阵;
其中;
若所述3D相机安装于所述机械臂并随所述机械臂运动,则所述目标部位为所述机械臂的指定部位;
若所述3D相机与所述基座的位置相对固定,则所述目标部位为所述基座。
轨迹生成模块72,用于在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;
可选的,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,包括:确定所述焊缝的多个焊缝段之间的焊接次序,并为每个焊缝段配置一段用于焊接对应焊缝段的焊接轨迹;
若焊接次序中的第N条焊缝段的焊接轨迹与第N+1条焊缝段的焊接轨迹不连续,则产生对应的空移轨迹。
可选的,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,还包括:
通过在所述数字孪生场景中对焊接头运动过程的模拟,确定所述焊接头的图元模型沿所述当前运动轨迹运动时,所述数字孪生场景中的多个图元模型间未发生碰撞。
焊接模块73,用于基于所述当前运动轨迹,控制所述焊接头进行焊接。
请参考图13,提供了一种电子设备8,包括:
处理器81;以及,
存储器82,用于存储所述处理器的可执行指令;
其中,所述处理器81配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器81能够通过总线83与存储器82通讯。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种焊接轨迹生成方法,其特征在于,包括:
获取待焊接工件的第一焊缝位置,所述第一焊缝位置为所述待焊接工件的焊缝在机床坐标系的位置;
在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;
基于所述当前运动轨迹,控制所述焊接头进行焊接。
2.根据权利要求1所述的一种焊接轨迹生成方法,其特征在于,所述获取待焊接工件的第一焊缝位置之前,包括:
控制3D相机采集所述待焊接工件的3D图像;
识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置;
利用预先标定的转化矩阵,将所述第二焊缝位置转换至机床坐标系,得到所述第一焊缝位置。
3.根据权利要求2所述的一种焊接轨迹生成方法,其特征在于,
识别所述待焊接工件的3D图像中的焊缝,得到相机坐标系下的第二焊缝位置,包括:
确定所述焊缝的参考焊缝特征信息;所述焊缝的参考焊缝特征信息表征了所述焊缝在所述3D图像中所应具有的形态特征;
在所述待焊接工件的3D图像中,基于所述焊缝的参考焊缝特征信息,识别所述焊缝。
4.根据权利要求3所述的一种焊接轨迹生成方法,其特征在于,
确定所述焊缝的参考焊缝特征信息,包括:
获取所述待焊接工件的类型;
基于所述待焊接工件的类型,以及不同类型与不同参考焊缝特征信息的映射关系,确定所述焊缝的参考焊缝特征信息。
5.根据权利要求4所述的一种焊接轨迹生成方法,其特征在于,
所述焊缝的参考焊缝特征信息包括:所述焊缝所包含的焊缝特征单元;所述焊缝特征单元包括焊缝段和/或焊缝特征点;
若所述焊缝特征单元的数量为多个,则所述焊缝的参考焊缝特征信息还包括:以下至少之一:
所述焊缝中各焊缝特征单元的相对位置关系;
所述焊缝中各焊缝特征单元的连接关系。
6.根据权利要求1所述的一种焊接轨迹生成方法,其特征在于,
所述焊接头安装于焊枪,所述焊枪通过法兰板连接机械臂,所述机械臂连接于基座,且能够相对于所述基座运动;
所述转化矩阵是通过以下过程标定的:
在所述3D相机相对于指定标记物处于第一相对位置时,获取所述3D相机采集到的包含所述指定标记物的第一3D图像,并基于所述第一3D图像,计算所述3D相机相对于所述指定标记物的第一相对位姿;
通过控制所述机械臂运动,令所述3D相机相对于指定标记物发生位置变化;
在所述3D相机相对于所述指定标记物处于第二相对位置时,获取所述3D相机采集到的包含所述指定标记物的第二3D图像,并基于所述第二3D图像,计算所述3D相机相对于所述指定标记物的第二相对位姿;
获取第三相对位姿与第四相对位姿,所述第三相对位姿为:处于所述第一相对位置时,所述机械臂的指定部位相对于所述基座的位姿;所述第四相对位姿为:处于所述第二相对位置时,所述机械臂的指定部位相对于所述基座的位姿;
基于所述第一相对位姿、所述第二相对位姿、所述第三相对位姿与所述第四相对位姿,确定目标对象相对于所述3D相机的相对位姿,得到所述转换矩阵;
其中;
若所述3D相机安装于所述机械臂并随所述机械臂运动,则所述目标对象为所述机械臂的指定部位;
若所述3D相机与所述基座的位置相对固定,则所述目标对象为所述基座。
7.根据权利要求1所述的一种焊接轨迹生成方法,其特征在于,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,包括:
确定所述焊缝的多个焊缝段之间的焊接次序,并为每个焊缝段配置一段用于焊接对应焊缝段的焊接轨迹;
若焊接次序中的第N条焊缝段的焊接轨迹与第N+1条焊缝段的焊接轨迹不连续,则产生对应的空移轨迹。
8.根据权利要求1所述的一种焊接轨迹生成方法,其特征在于,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,还包括:
通过在所述数字孪生场景中对焊接头运动过程的模拟,确定所述焊接头的图元模型沿所述当前运动轨迹运动时,所述数字孪生场景中的多个图元模型间未发生碰撞。
9.一种焊接轨迹生成装置,其特征在于,包括:
获取模块,用于获取待焊接工件的第一焊缝位置,所述第一焊缝位置为所述待焊接工件的焊缝在机床坐标系的位置;
轨迹生成模块,用于在当前焊接场景的数字孪生场景中,基于所述第一焊缝位置,生成焊接头的当前运动轨迹,所述当前运动轨迹包括:焊接所述焊缝时所述焊接头的焊接轨迹和空移轨迹;
焊接模块,用于基于所述当前运动轨迹,控制所述焊接头进行焊接。
10.一种电子设备,其特征在于,包括存储器与处理器,
所述存储器,用于存储代码;
所述处理器,用于执行所述存储器中的代码用以实现权利要求1至8任一项所述的方法。
11.一种存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现权利要求1至8任一项所述的方法。
CN202111397492.9A 2021-11-23 2021-11-23 焊接轨迹生成方法、装置、设备与介质 Pending CN113977584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111397492.9A CN113977584A (zh) 2021-11-23 2021-11-23 焊接轨迹生成方法、装置、设备与介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111397492.9A CN113977584A (zh) 2021-11-23 2021-11-23 焊接轨迹生成方法、装置、设备与介质

Publications (1)

Publication Number Publication Date
CN113977584A true CN113977584A (zh) 2022-01-28

Family

ID=79750066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111397492.9A Pending CN113977584A (zh) 2021-11-23 2021-11-23 焊接轨迹生成方法、装置、设备与介质

Country Status (1)

Country Link
CN (1) CN113977584A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114571165A (zh) * 2022-05-07 2022-06-03 季华实验室 一种焊接轨迹规划方法、装置、焊接系统及电子设备
CN114683283A (zh) * 2022-03-25 2022-07-01 中铁科工集团有限公司 一种焊接机器人免示教焊接方法及装置
CN114692425A (zh) * 2022-04-18 2022-07-01 武汉理工大学 数字孪生技术的焊接机器人仿真方法、系统、设备及介质
CN114905179A (zh) * 2022-06-30 2022-08-16 中船黄埔文冲船舶有限公司 一种基于三维模型的中组立装配方法及装置
CN115383256A (zh) * 2022-09-30 2022-11-25 上海柏楚电子科技股份有限公司 自动焊接方法、装置以及系统
CN116129032A (zh) * 2022-10-02 2023-05-16 重庆蕴明科技股份有限公司 一种基于数字孪生的三维可视化管理系统及构建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108581220A (zh) * 2018-04-10 2018-09-28 上海柏楚电子科技股份有限公司 一种用于激光切割的空移路径规划方法
CN108581191A (zh) * 2018-04-10 2018-09-28 上海柏楚电子科技股份有限公司 一种激光切割路径规划实现激光头停光空移避障的方法
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
CN110814584A (zh) * 2019-10-29 2020-02-21 创想智控科技(深圳)有限公司 基于预扫描的焊接方法、装置、系统及电子设备
CN111070199A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 一种手眼标定评估方法及机器人
CN111230869A (zh) * 2020-01-21 2020-06-05 北京卫星制造厂有限公司 一种复杂空间曲线焊缝运动轨迹和焊接工艺协同规划方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108581220A (zh) * 2018-04-10 2018-09-28 上海柏楚电子科技股份有限公司 一种用于激光切割的空移路径规划方法
CN108581191A (zh) * 2018-04-10 2018-09-28 上海柏楚电子科技股份有限公司 一种激光切割路径规划实现激光头停光空移避障的方法
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
CN111070199A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 一种手眼标定评估方法及机器人
CN110814584A (zh) * 2019-10-29 2020-02-21 创想智控科技(深圳)有限公司 基于预扫描的焊接方法、装置、系统及电子设备
CN111230869A (zh) * 2020-01-21 2020-06-05 北京卫星制造厂有限公司 一种复杂空间曲线焊缝运动轨迹和焊接工艺协同规划方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马国红等: "《时空域脉搏信号检测方法研究》", vol. 1, 西南交通大学出版社, pages: 16 - 42 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114683283A (zh) * 2022-03-25 2022-07-01 中铁科工集团有限公司 一种焊接机器人免示教焊接方法及装置
CN114683283B (zh) * 2022-03-25 2024-04-16 中铁科工集团有限公司 一种焊接机器人免示教焊接方法及装置
CN114692425A (zh) * 2022-04-18 2022-07-01 武汉理工大学 数字孪生技术的焊接机器人仿真方法、系统、设备及介质
CN114571165A (zh) * 2022-05-07 2022-06-03 季华实验室 一种焊接轨迹规划方法、装置、焊接系统及电子设备
CN114571165B (zh) * 2022-05-07 2022-08-23 季华实验室 一种焊接轨迹规划方法、装置、焊接系统及电子设备
CN114905179A (zh) * 2022-06-30 2022-08-16 中船黄埔文冲船舶有限公司 一种基于三维模型的中组立装配方法及装置
CN114905179B (zh) * 2022-06-30 2024-02-23 中船黄埔文冲船舶有限公司 一种基于三维模型的中组立装配方法及装置
CN115383256A (zh) * 2022-09-30 2022-11-25 上海柏楚电子科技股份有限公司 自动焊接方法、装置以及系统
CN115383256B (zh) * 2022-09-30 2024-04-16 上海柏楚电子科技股份有限公司 自动焊接方法、装置以及系统
CN116129032A (zh) * 2022-10-02 2023-05-16 重庆蕴明科技股份有限公司 一种基于数字孪生的三维可视化管理系统及构建方法
CN116129032B (zh) * 2022-10-02 2023-07-25 重庆蕴明科技股份有限公司 一种基于数字孪生的三维可视化管理系统及构建方法

Similar Documents

Publication Publication Date Title
CN113977584A (zh) 焊接轨迹生成方法、装置、设备与介质
US10525594B2 (en) Teaching system, robot system, and teaching method
JP5606816B2 (ja) 溶接ロボットのティーチング装置およびティーチング方法
Pan et al. Recent progress on programming methods for industrial robots
US9110466B2 (en) Programming method for a robot, programming apparatus for a robot, and robot control system
US9104197B2 (en) Method and system for off-line programming of multiple interacting robots
CN108481323A (zh) 基于增强现实的机器人运动轨迹自动编程系统及方法
CN111745266A (zh) 基于3d视觉寻位的瓦楞板焊接轨迹生成方法及系统
US20150190926A1 (en) Method and system for off-line programming of multiple interacting robots
JP4693643B2 (ja) ロボットの教示支援装置及びそのためのプログラム
CN112847353B (zh) 一种基于离线编程软件的多段焊缝轨迹修正方法
JP2006099474A (ja) ロボットの軌跡制御方法
CN113787245B (zh) 一种机器人智能焊接程序生成方法及系统
JP4513663B2 (ja) 自動組立システムにおける組立機構の動作教示方法
CN103085072A (zh) 基于三维建模软件实现工业机器人离线编程的方法
US11247335B2 (en) Semi-autonomous robot path planning
JP2012091304A (ja) ティーチングデータ作成方法およびティーチングデータ作成装置
CN110977226B (zh) 车箱板焊接方法及系统
CN110682292A (zh) 基于RT Toolbox的机器人码垛轨迹生成方法
CN115383256A (zh) 自动焊接方法、装置以及系统
CN115351389A (zh) 自动焊接方法和装置、电子设备及存储介质
US11203117B2 (en) Teaching data generation system for vertical multi-joint robot
JP5239901B2 (ja) ロボットシステムおよびロボットの制御方法
JP2009119589A (ja) ロボットシミュレータ
Shanmugasundar et al. Method of Trajectory Generation of a Generic Robot using Bresenham’s Circle Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200241 No. 1000, Lanxiang Hunan Road, Minhang District, Shanghai

Applicant after: SHANGHAI FRIENDESS ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 200241, room 1033, building B, 555 Dongchuan Road, Shanghai, Minhang District

Applicant before: SHANGHAI FRIENDESS ELECTRONIC TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20220128

RJ01 Rejection of invention patent application after publication