CN110245599A - 一种智能三维焊缝自主寻迹方法 - Google Patents

一种智能三维焊缝自主寻迹方法 Download PDF

Info

Publication number
CN110245599A
CN110245599A CN201910498191.1A CN201910498191A CN110245599A CN 110245599 A CN110245599 A CN 110245599A CN 201910498191 A CN201910498191 A CN 201910498191A CN 110245599 A CN110245599 A CN 110245599A
Authority
CN
China
Prior art keywords
weld seam
robot
track
line laser
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910498191.1A
Other languages
English (en)
Inventor
陈旭
马志凌
陈珉
吴志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Vision Technology Co Ltd
Original Assignee
Shenzhen Super Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Vision Technology Co Ltd filed Critical Shenzhen Super Vision Technology Co Ltd
Priority to CN201910498191.1A priority Critical patent/CN110245599A/zh
Publication of CN110245599A publication Critical patent/CN110245599A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0211—Carriages for supporting the welding or cutting element travelling on a guide member, e.g. rail, track
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明属于自动化焊接技术领域，提供了一种智能三维焊缝自主寻迹方法，包括如下步骤，S1、相机标定：相机拍摄获取不同空间位置标定板的图像信息，根据拍摄的图像信息建立相应的方程组，解析得到内部参数矩阵和外部参数矩阵；S2：线激光平面标定；S3：手眼标定；S4：确定焊缝起点和终点；S5：焊缝轨迹规划。该智能三维焊缝自主寻迹方法，具备利用图像算法识别任意类型的焊缝坡口，并通过线激光三角测量法及视觉与机器人的标定算法，自主规划运动路径，从而实现对任意三维空间的焊缝进行自主寻迹，同时获得焊缝坡口的三维朝向信息，且通过自适应预摆的方式解决对直角或锐角拐点的寻迹。

Description

一种智能三维焊缝自主寻迹方法
技术领域
本发明属于自动化焊接技术领域，尤其涉及一种智能三维焊缝自主寻迹方法。
背景技术
在传统自动焊接设备实际应用中，大部分焊接机器人需要先进行人工示教，对工件的尺寸及夹具也都要统一，且当焊件形状相对复杂时，人工示教费时更多，使得自动化焊接效率降低且焊接质量差。因此，可通过激光视觉自主寻迹的方式来代替人工示教的过程，不但提高自动化焊接的效率和还能提高焊接质量。
而目前市面大多数激光视觉寻迹系统，只适用于部分坡口形状的焊缝，且仅通过对平面上的直线或弧度小的曲线提取三维坐标对焊枪进行平移调整从而实现焊缝跟踪，然而对于三维空间中任意的焊缝，如果没有焊枪对应的姿态信息，用该系统焊接出来的质量完全不达标，而对于直角拐点的焊缝，因激光为一字型，使用该系统会导致跟踪时跑离轨迹。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种智能三维焊缝自主寻迹方法，具备利用图像算法识别任意类型的焊缝坡口，并通过线激光三角测量法及视觉与机器人的标定算法，自主规划运动路径，从而实现对任意三维空间的焊缝进行自主寻迹，同时获得焊缝坡口的三维朝向信息，且通过自适应预摆的方式解决对直角或锐角拐点的寻迹等优点，解决了现有技术中对于三维空间中任意的焊缝，如果没有焊枪对应的姿态信息，用该系统焊接出来的质量完全不达标，而对于直角拐点的焊缝，因激光为一字型，使用该系统会导致跟踪时跑离轨迹的问题。
(二)技术方案
为实现利用图像算法识别任意类型的焊缝坡口，并通过线激光三角测量法及视觉与机器人的标定算法，自主规划运动路径，从而实现对任意三维空间的焊缝进行自主寻迹，同时获得焊缝坡口的三维朝向信息，且通过自适应预摆的方式解决对直角或锐角拐点寻迹的目的，本发明提供如下技术方案：一种智能三维焊缝自主寻迹方法，包括如下步骤：
S1、相机标定：相机拍摄获取不同空间位置标定板的图像信息，根据拍摄的图像信息建立相应的方程组，解析得到内部参数矩阵和外部参数矩阵，其中，内部参数矩阵包括相机图像坐标、物理图像坐标与相机坐标系的关系，外部参数矩阵包括相机坐标和世界坐标的转换关系；
S2、线激光平面标定：线激光照射在不同空间位置的标定板上，相机实时拍摄获取不同平面线激光的投影信息，根据获取的投影信息建立相应的线激光平面方程式，代入外部参数矩阵和内部参数矩阵分别确定像激光平面与相机的关机以及图像像素坐标与线激光平面的关系；
S3、手眼标定：控制器控制机器人的末端以各种姿态拍摄固定的标定板，根据手眼关系建立方程组获得相机坐标系到机器人末端坐标系的旋转变换矩阵，解析得到相机坐标系下焊缝相对于机器人坐标系下的位置关系；
S4、确定焊缝起点和终点：通过相机拍摄焊缝形状，采用图像识别算法在可视化操作面板上选择焊缝的起点和终点，并将起点和终点的信息发送至控制器；
S5、焊缝轨迹规划：控制器控制机器人运动到焊缝的起点，调整到沿着焊缝轨迹的前进方向，引导机器人沿焊缝轨迹运动，当相机检测到焊缝终点时，完成当前焊缝的寻迹，得到对应的焊缝轨迹信息，同时，在机器人运动时，机器人的末端带动相机实时记录当前焊缝在机器人坐标系下的位置信息以及线激光在焊缝处的位置信息，通过连续两帧或多帧的坐标信息，获取焊缝位姿信息，并将焊缝轨迹信息和焊缝位姿信息发送至控制器并保存。
优选地，在所述步骤S1中将标定板放置在相机视场范围内的至少三个不同空间位置进行拍摄，根据拍摄的图像信息建立相应的方程组，获取三维世界坐标点以及二维相机平面坐标点，根据二维相机平面坐标点和三维世界坐标点得到相机的内部参数矩阵和外部参数矩阵。
优选地，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以逆时针/或者顺时针方向旋转调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以顺时针/或者逆时针方向旋转做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
优选地，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设距离调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设距离做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
优选地，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设时序调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设时序做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
优选地，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设曲度调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设曲度做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
优选地，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设角度调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设角度做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
优选地，所述将焊缝轨迹信息和焊缝位姿信息发送至控制器并保存之后，还包括：
控制器控制机器人根据焊缝轨迹信息和焊缝位姿信息执行焊接操作，焊接完成之后，控制器控制机器人沿焊接路径运动，拍摄获取焊接完成后的焊接外观图像，并对焊接外观图像进行分析处理，判断焊接工件的焊接表面是否符合规格，若符合规格，卸下焊接工件。
优选地，所述线激光安装在机器人的末端正下方，机器人的末端旋转的度数即为线激光旋转的度数。
优选地，在所述步骤S4中的可视化操作面板包括触摸屏。
(三)有益效果
与现有技术相比，本发明提供了一种智能三维焊缝自主寻迹方法，可通过相机标定、线激光平面标定和手眼标定，可以准确的使机器人末端带动焊接模块沿焊缝移动并焊接，且焊缝的起点和终点的确定由图像识别算法得出，并由人工确认，在遇到焊缝的拐点时可以提前转换角度以适应焊缝的形状，其中线激光起到提前判断焊缝轨迹的作用，即本自主寻迹方法具备利用图像算法识别任意类型的焊缝坡口，并通过线激光三角测量法及视觉与机器人的标定算法，自主规划运动路径，从而实现对任意三维空间的焊缝进行自主寻迹，同时获得焊缝坡口的三维朝向信息，且通过自适应预摆的方式解决对直角或锐角拐点的寻迹的作用。
附图说明
图1为本发明提出的一种智能三维焊缝自主寻迹方法的流程图；
图2为本发明提出的一种智能三维焊缝自主寻迹方法中拐点失锁的示意图；
图3为本发明提出的一种智能三维焊缝自主寻迹方法中失锁退回并预转动的示意图；
图4为本发明提出的一种智能三维焊缝自主寻迹方法中通过拐点的示意图；
图5为本发明提出的一种智能三维焊缝自主寻迹方法中检测到平缓轨迹而恢复的示意图。
图中：箭头代表运动方向；粗实线代表焊缝；细实线代表线激光。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，一种智能三维焊缝自主寻迹方法，包括如下步骤，
S1、相机标定：相机拍摄获取不同空间位置标定板的图像信息，根据拍摄的图像信息建立相应的方程组，解析得到内部参数矩阵和外部参数矩阵，其中，内部参数矩阵包括相机图像坐标、物理图像坐标与相机坐标系的关系，外部参数矩阵包括相机坐标和世界坐标的转换关系。
在本实施例中，将标定板放置在相机视场范围内的至少三个不同空间位置进行拍摄，根据拍摄的图像信息建立相应的方程组，获取三维世界坐标点以及二维相机平面坐标点，根据二维相机平面坐标点和三维世界坐标点得到相机的内部参数矩阵和外部参数矩阵。其具体为：将标定板放置在相机视场范围内的至少三个不同空间位置进行拍摄，根据拍摄的图像信息建立相应的方程组，获取三维世界坐标点以及二维相机平面坐标点，其中，三维世界中坐标的点为二维相机平面坐标的点为两者之间的关系为根据张正友标定算法得到相机的内部参数矩阵外部参数矩阵为Rt,其中s为：任意缩放因子，u，v分别为图像像素坐标，A为相机的内部参数，fx，fy为像素焦距，γ为倾斜因子，u0和v0为图像主点坐标，r1，r2为相机的外部参数中的旋转向量，t为相机外部参数中的平移向量。
S2、线激光平面标定：线激光照射在不同空间位置的标定板上，相机实时拍摄获取不同平面线激光的投影信息，根据获取的投影信息建立相应的线激光平面方程式，代入外部参数矩阵和内部参数矩阵分别确定像激光平面与相机的关机以及图像像素坐标与线激光平面的关系。其具体包括：将激光照射在标定板上，得到线激光平面方程式aXc+bYc+cZc+d＝0，当标定板移动至不同的位置时得到多组激光的相机坐标，可以得到以下方程式，通过相机内部参数矩阵与线激光平面方程，可以得到进而得到其中a、b、c、d为三维平面方程系数，v，u为：图像像素坐标，ax，ay为像素焦距，u0和v0为图像主点坐标。
S3、手眼标定：控制器控制机器人的末端以各种姿态拍摄固定的标定板，根据手眼关系建立方程组获得相机坐标系到机器人末端坐标系的旋转变换矩阵，解析得到相机坐标系下焊缝相对于机器人坐标系下的位置关系。其具体为：控制机器人末端以各种姿态拍摄一处固定不动的标定板，根据手眼关系建立方程组来求相机坐标系到机器人末端坐标系的旋转变换矩阵，得到AX＝XB，其中X为相机坐标系到机器人末端坐标系的旋转变换矩阵，A为机器人末端运动两次的旋转变换矩阵，B为相机运动两次的旋转变换矩阵，令为机器人工具坐标系到基坐标系的转换矩阵，为相机坐标系到工具坐标系的转换矩阵，为世界坐标系到相机坐标系的转换矩阵，为世界坐标系到基坐标系的转换矩阵，得到各个转换矩阵的关系为：经计算即相机坐标系下焊缝基于基坐标系下的位置，其实主要是对机器人末端安装的焊接模块和焊缝进行手眼标定。
S4、确定焊缝起点和终点：通过相机拍摄焊缝形状，采用图像识别算法在可视化操作面板上选择焊缝的起点和终点，并将起点和终点的信息发送至控制器，其中可视化操作面板包括触摸屏，经过处理器中利用图像识别算法得出的焊缝的起点和终点，人工确认后，将起点和终点的位置信息发送至控制器，便于控制器计算焊接轨迹。
S5：、焊缝轨迹规划：控制器控制机器人运动到焊缝的起点，调整到沿着焊缝轨迹的前进方向，引导机器人沿焊缝轨迹运动，当相机检测到焊缝终点时，完成当前焊缝的寻迹，得到对应的焊缝轨迹信息，同时，在机器人运动时，机器人的末端带动相机实时记录当前焊缝在机器人坐标系下的位置信息以及线激光在焊缝处的位置信息，通过连续两帧或多帧的坐标信息，获取焊缝位姿信息，并将焊缝轨迹信息和焊缝位姿信息发送至控制器并保存，其中，所述焊缝位姿信息即为焊枪的工作姿态信息。
作为一个优选实施例，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以逆时针/或者顺时针方向旋转调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以顺时针/或者逆时针方向旋转做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
作为另一个优选实施例，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设距离调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设距离做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
作为又一个优选实施例，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设时序调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设时序做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
作为再一个优选实施例，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设曲度调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设曲度做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
作为再一个优选实施例，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设角度调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设角度做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
在本市实施例中，所述将焊缝轨迹信息和焊缝位姿信息发送至控制器并保存之后，还包括：控制器控制机器人根据焊缝轨迹信息和焊缝位姿信息执行焊接操作，焊接完成之后，控制器控制机器人沿焊接路径运动，拍摄获取焊接完成后的焊接外观图像，并对焊接外观图像进行分析处理，判断焊接工件的焊接表面是否符合规格，若符合规格，卸下焊接工件，具体步骤为：控制器控制机器人根据焊缝轨迹信息和焊缝位姿信息执行焊接操作，焊接完成之后，控制机器人沿焊接路径运动，拍摄获取焊接工件焊接完成后的焊接外观图像，并将焊接外观图像传输至人工智能装置对焊接外观图像进行分析处理，判断焊接工件的焊接表面是否符合规格，主要分析处理焊接表面平滑度、焊接表面是否存在毛刺以及焊接表面是否存在未焊接部位等，若符合规格，则提示工作人员卸下焊接工件。
在本实施例中，所述线激光安装在机器人的末端正下方，机器人的末端旋转的度数即为线激光旋转的度数，其中失锁是指寻迹图像处理过程中，跟踪丢失目标，线激光所起到的作用就是提前判断焊缝目标，当线激光的反馈信息丢失时，即代表目标丢失，此时可以提前知道焊缝轨迹发生变化，然后控制器控制机器人末端以顺时针/逆时针旋转、预设距离、预设时序、预设曲度或者预设角度，重新寻找焊缝，或推后至未失锁前的位置，转动角度后，重新寻找焊缝，其中，所述预设距离、预设时序、预设曲度和预设角度可根据焊缝轨迹信息进行选择设置，具体不做任何限制。
综上所述，先通过标定板对安装有线激光和相机的机器人(机械臂)进行相机的标定和线激光的标定，然后对机器人末端和焊缝进行手眼标定，得到机器人末端安装的焊接模块对焊缝之间的位置关系，及相机所拍摄图像与机器人末端安装的焊接模块之间的位置转换关系，这样就能保证焊接的准确性，然后通过相机拍摄的焊缝图像，由图像识别算法识别焊缝的起点和终点并在可视化操作面板上显示，人工确认后，将将起点和终点的位置信息发送至控制器，便于控制器计算焊接轨迹，然后控制器机器人运动到焊缝起点，调整到沿着焊缝轨迹的前进方向运动，此过程中，相机会实时记录当前焊缝在机器人基坐标系下的位置，以及线激光发射的激光在焊缝处的位置，通过连续两帧或多帧的坐标信息，可以得到焊缝的位姿(即焊枪的工作姿态)，根据该信息，逐步的引导机器人走在焊缝轨迹上，当相机检测到焊缝终点时，完成当前焊缝的寻迹，而得到的焊缝轨迹和对应的焊缝位姿信息将保存在机器人控制器中。
上述发明提供的智能三维焊缝自主寻迹方法，通过相机标定、线激光平面标定和手眼标定，可以准确的使机器人末端带动焊接模块沿焊缝移动并焊接，且焊缝的起点和终点的确定由图像识别算法得出，并由人工确认，在遇到焊缝的拐点时可以提前转换角度以适应焊缝的形状，其中线激光起到提前判断焊缝轨迹的作用，即本自主寻迹方法具备利用图像算法识别任意类型的焊缝坡口，并通过线激光三角测量法及视觉与机器人的标定算法，自主规划运动路径，从而实现对任意三维空间的焊缝进行自主寻迹，同时获得焊缝坡口的三维朝向信息，且通过自适应预摆的方式解决对直角或锐角拐点的寻迹的作用。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种智能三维焊缝自主寻迹方法，其特征在于，包括如下步骤：
S1、相机标定：相机拍摄获取不同空间位置标定板的图像信息，根据拍摄的图像信息建立相应的方程组，解析得到内部参数矩阵和外部参数矩阵，其中，内部参数矩阵包括相机图像坐标、物理图像坐标与相机坐标系的关系，外部参数矩阵包括相机坐标和世界坐标的转换关系；
S2、线激光平面标定：线激光照射在不同空间位置的标定板上，相机实时拍摄获取不同平面线激光的投影信息，根据获取的投影信息建立相应的线激光平面方程式，代入外部参数矩阵和内部参数矩阵分别确定像激光平面与相机的关机以及图像像素坐标与线激光平面的关系；
S3、手眼标定：控制器控制机器人的末端以各种姿态拍摄固定的标定板，根据手眼关系建立方程组获得相机坐标系到机器人末端坐标系的旋转变换矩阵，解析得到相机坐标系下焊缝相对于机器人坐标系下的位置关系；
S4、确定焊缝起点和终点：通过相机拍摄焊缝形状，采用图像识别算法在可视化操作面板上选择焊缝的起点和终点，并将起点和终点的信息发送至控制器；
S5、焊缝轨迹规划：控制器控制机器人运动到焊缝的起点，调整到沿着焊缝轨迹的前进方向，引导机器人沿焊缝轨迹运动，当相机检测到焊缝终点时，完成当前焊缝的寻迹，得到对应的焊缝轨迹信息，同时，在机器人运动时，机器人的末端带动相机实时记录当前焊缝在机器人坐标系下的位置信息以及线激光在焊缝处的位置信息，通过连续两帧或多帧的坐标信息，获取焊缝位姿信息，并将焊缝轨迹信息和焊缝位姿信息发送至控制器并保存。
2.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S1中将标定板放置在相机视场范围内的至少三个不同空间位置进行拍摄，根据拍摄的图像信息建立相应的方程组，获取三维世界坐标点以及二维相机平面坐标点，根据二维相机平面坐标点和三维世界坐标点得到相机的内部参数矩阵和外部参数矩阵。
3.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以逆时针/或者顺时针方向旋转调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以顺时针/或者逆时针方向旋转做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
4.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设距离调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设距离做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
5.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设时序调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设时序做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
6.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设曲度调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设曲度做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
7.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S5中，在遇到具有直角或锐角拐点的焊缝时，若图像跟踪的目标失锁且还没运动到焊缝终点，控制器会发送命令至机器人以预设角度调整试探寻迹，若依旧在拐点失锁，则会自动退回上一个能锁定住焊缝目标的位置，然后以预设角度做调整寻迹，同时，线激光预先转动一定的角度，使得机器人运动到焊缝拐点时能保证焊缝一直处于线激光的视野内，当检测到连续多个点的轨迹较为平缓时，则恢复机器人的末端角度至正常姿态。
8.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，所述将焊缝轨迹信息和焊缝位姿信息发送至控制器并保存之后，还包括：
控制器控制机器人根据焊缝轨迹信息和焊缝位姿信息执行焊接操作，焊接完成之后，控制器控制机器人沿焊接路径运动，拍摄获取焊接完成后的焊接外观图像，并对焊接外观图像进行分析处理，判断焊接工件的焊接表面是否符合规格，若符合规格，卸下焊接工件。
9.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，所述线激光安装在机器人的末端正下方，机器人的末端旋转的度数即为线激光旋转的度数。
10.如权利要求1所述的智能三维焊缝自主寻迹方法，其特征在于，在所述步骤S4中的可视化操作面板包括触摸屏。
CN201910498191.1A 2019-06-10 2019-06-10 一种智能三维焊缝自主寻迹方法 Pending CN110245599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498191.1A CN110245599A (zh) 2019-06-10 2019-06-10 一种智能三维焊缝自主寻迹方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498191.1A CN110245599A (zh) 2019-06-10 2019-06-10 一种智能三维焊缝自主寻迹方法

Publications (1)

Publication Number Publication Date
CN110245599A true CN110245599A (zh) 2019-09-17

Family

ID=67886412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498191.1A Pending CN110245599A (zh) 2019-06-10 2019-06-10 一种智能三维焊缝自主寻迹方法

Country Status (1)

Country Link
CN (1) CN110245599A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156925A (zh) * 2019-12-19 2020-05-15 南京理工大学 基于线结构光和工业机器人的大构件三维测量方法
CN111179221A (zh) * 2019-12-09 2020-05-19 中建钢构有限公司 焊接坡口的检测方法、设备及存储介质
CN111451670A (zh) * 2020-02-24 2020-07-28 季华实验室 自动焊接方法、装置、设备及计算机可读存储介质
CN111552288A (zh) * 2020-04-28 2020-08-18 西南交通大学 一种移动机器人路径平滑方法
CN111571082A (zh) * 2020-06-02 2020-08-25 深圳市超准视觉科技有限公司 自动焊接方法、装置、移动终端和可读存储介质
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN112276317A (zh) * 2020-10-21 2021-01-29 湖南视比特机器人有限公司 钢板切割的自动定位寻边方法和装置
CN112381783A (zh) * 2020-11-11 2021-02-19 湖南大学 一种基于红色线激光的焊缝轨迹提取方法
CN112783076A (zh) * 2019-11-07 2021-05-11 东北大学秦皇岛分校 基于高精度位移传感器的引导机械手定位的方法及系统
CN112907727A (zh) * 2021-01-25 2021-06-04 中国科学院空天信息创新研究院 相对变换矩阵的标定方法、装置及系统
CN113125463A (zh) * 2021-04-25 2021-07-16 济南大学 一种用于汽车轮毂焊缝缺陷检测的示教方法及装置
CN113240751A (zh) * 2021-05-18 2021-08-10 广州慧炬智能科技有限公司 一种机器人末端相机的标定方法
CN113246142A (zh) * 2021-06-25 2021-08-13 成都飞机工业（集团）有限责任公司 一种基于激光引导的测量路径规划方法
CN113504239A (zh) * 2021-06-10 2021-10-15 上海西信信息科技股份有限公司 一种品质管控数据分析方法
CN113510412A (zh) * 2021-04-28 2021-10-19 湖北云眸科技有限公司 一种识别焊缝状态的检测系统、检测方法及储存介质
WO2021259151A1 (zh) * 2020-06-24 2021-12-30 深圳市道通科技股份有限公司 一种激光标定系统的标定方法、装置以及激光标定系统
CN114192948A (zh) * 2021-12-21 2022-03-18 唐山英莱科技有限公司 一种低示教量扫描多种短焊缝的方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN114434001A (zh) * 2021-03-24 2022-05-06 西华大学 一种焊缝轨迹自主跟踪算法
CN114536156A (zh) * 2020-11-25 2022-05-27 广东天机工业智能系统有限公司 鞋帮打磨轨迹生成方法
CN114682879A (zh) * 2022-03-14 2022-07-01 南京理工大学 一种基于目标跟踪的焊缝跟踪方法
CN114770520A (zh) * 2022-05-24 2022-07-22 深圳市超准视觉科技有限公司 机器人焊接轨迹及姿态的规划方法
CN115709331A (zh) * 2022-11-23 2023-02-24 山东大学 基于目标检测的焊接机器人全自主视觉引导方法及系统
CN115890053A (zh) * 2023-03-02 2023-04-04 成都熊谷加世电器有限公司 内焊机对口方法、装置、内焊机及存储介质
CN116149327A (zh) * 2023-02-08 2023-05-23 广州番禺职业技术学院 一种实时跟踪的前瞻路径规划系统、方法及装置
WO2023142229A1 (zh) * 2022-01-25 2023-08-03 季华实验室 焊缝参数识别方法、装置、电子设备及存储介质
CN116833650A (zh) * 2023-08-08 2023-10-03 南京创丰精密钣金制造有限公司 一种具有路径寻迹功能的汽车门体焊接装置
CN117182255A (zh) * 2023-10-24 2023-12-08 中国机械总院集团哈尔滨焊接研究所有限公司 一种基于线激光识别的自适应焊接方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673104A (zh) * 2009-10-10 2010-03-17 浙江工业大学 基于g代码转换方法的工业机器人加工控制方法
CN101966617A (zh) * 2010-08-30 2011-02-09 东南大学 一种用于焊接机器人连续运动的视图模型简约描述方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN103558850A (zh) * 2013-07-26 2014-02-05 无锡信捷电气股份有限公司 一种激光视觉引导的焊接机器人全自动运动自标定方法
CN104384765A (zh) * 2014-10-14 2015-03-04 江苏湃锐自动化科技有限公司 基于三维模型与机器视觉的自动焊接方法及焊接装置
CN105598600A (zh) * 2016-02-02 2016-05-25 上海理工大学 一种箱型件焊缝自主寻位及轨迹自动生成方法
CN108274092A (zh) * 2017-12-12 2018-07-13 北京石油化工学院 基于三维视觉与模型匹配的坡口自动切割系统及切割方法
CN109591011A (zh) * 2018-11-29 2019-04-09 天津工业大学 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673104A (zh) * 2009-10-10 2010-03-17 浙江工业大学 基于g代码转换方法的工业机器人加工控制方法
CN101966617A (zh) * 2010-08-30 2011-02-09 东南大学 一种用于焊接机器人连续运动的视图模型简约描述方法
CN102794763A (zh) * 2012-08-31 2012-11-28 江南大学 基于线结构光视觉传感器引导的焊接机器人系统标定方法
CN103558850A (zh) * 2013-07-26 2014-02-05 无锡信捷电气股份有限公司 一种激光视觉引导的焊接机器人全自动运动自标定方法
CN104384765A (zh) * 2014-10-14 2015-03-04 江苏湃锐自动化科技有限公司 基于三维模型与机器视觉的自动焊接方法及焊接装置
CN105598600A (zh) * 2016-02-02 2016-05-25 上海理工大学 一种箱型件焊缝自主寻位及轨迹自动生成方法
CN108274092A (zh) * 2017-12-12 2018-07-13 北京石油化工学院 基于三维视觉与模型匹配的坡口自动切割系统及切割方法
CN109591011A (zh) * 2018-11-29 2019-04-09 天津工业大学 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘明友: "弧焊机器人焊缝视觉信息检测与识别研究", 《中国优秀硕士学位论文全文数据库工程科技辑》 *
李龙: "激光视觉引导机器臂焊缝跟踪系统的研究与开发", 《中国优秀硕士学位论文全文数据库工程科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783076A (zh) * 2019-11-07 2021-05-11 东北大学秦皇岛分校 基于高精度位移传感器的引导机械手定位的方法及系统
CN111179221A (zh) * 2019-12-09 2020-05-19 中建钢构有限公司 焊接坡口的检测方法、设备及存储介质
CN111179221B (zh) * 2019-12-09 2024-02-09 中建科工集团有限公司 焊接坡口的检测方法、设备及存储介质
CN111156925B (zh) * 2019-12-19 2021-12-28 南京理工大学 基于线结构光和工业机器人的大构件三维测量方法
CN111156925A (zh) * 2019-12-19 2020-05-15 南京理工大学 基于线结构光和工业机器人的大构件三维测量方法
CN111451670A (zh) * 2020-02-24 2020-07-28 季华实验室 自动焊接方法、装置、设备及计算机可读存储介质
CN111552288A (zh) * 2020-04-28 2020-08-18 西南交通大学 一种移动机器人路径平滑方法
CN111552288B (zh) * 2020-04-28 2021-03-16 西南交通大学 一种移动机器人路径平滑方法
CN111571082A (zh) * 2020-06-02 2020-08-25 深圳市超准视觉科技有限公司 自动焊接方法、装置、移动终端和可读存储介质
CN111571082B (zh) * 2020-06-02 2022-08-16 深圳市超准视觉科技有限公司 自动焊接方法、装置、移动终端和可读存储介质
WO2021259151A1 (zh) * 2020-06-24 2021-12-30 深圳市道通科技股份有限公司 一种激光标定系统的标定方法、装置以及激光标定系统
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN112276317A (zh) * 2020-10-21 2021-01-29 湖南视比特机器人有限公司 钢板切割的自动定位寻边方法和装置
CN112381783A (zh) * 2020-11-11 2021-02-19 湖南大学 一种基于红色线激光的焊缝轨迹提取方法
CN112381783B (zh) * 2020-11-11 2022-10-11 湖南大学 一种基于红色线激光的焊缝轨迹提取方法
CN114536156A (zh) * 2020-11-25 2022-05-27 广东天机工业智能系统有限公司 鞋帮打磨轨迹生成方法
CN112907727A (zh) * 2021-01-25 2021-06-04 中国科学院空天信息创新研究院 相对变换矩阵的标定方法、装置及系统
CN112907727B (zh) * 2021-01-25 2023-09-01 中国科学院空天信息创新研究院 相对变换矩阵的标定方法、装置及系统
CN114434001A (zh) * 2021-03-24 2022-05-06 西华大学 一种焊缝轨迹自主跟踪算法
CN113125463A (zh) * 2021-04-25 2021-07-16 济南大学 一种用于汽车轮毂焊缝缺陷检测的示教方法及装置
CN113125463B (zh) * 2021-04-25 2023-03-10 济南大学 一种用于汽车轮毂焊缝缺陷检测的示教方法及装置
CN113510412A (zh) * 2021-04-28 2021-10-19 湖北云眸科技有限公司 一种识别焊缝状态的检测系统、检测方法及储存介质
CN113240751A (zh) * 2021-05-18 2021-08-10 广州慧炬智能科技有限公司 一种机器人末端相机的标定方法
CN113504239A (zh) * 2021-06-10 2021-10-15 上海西信信息科技股份有限公司 一种品质管控数据分析方法
CN113246142A (zh) * 2021-06-25 2021-08-13 成都飞机工业（集团）有限责任公司 一种基于激光引导的测量路径规划方法
CN113246142B (zh) * 2021-06-25 2021-10-08 成都飞机工业（集团）有限责任公司 一种基于激光引导的测量路径规划方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN114192948A (zh) * 2021-12-21 2022-03-18 唐山英莱科技有限公司 一种低示教量扫描多种短焊缝的方法
WO2023142229A1 (zh) * 2022-01-25 2023-08-03 季华实验室 焊缝参数识别方法、装置、电子设备及存储介质
CN114682879A (zh) * 2022-03-14 2022-07-01 南京理工大学 一种基于目标跟踪的焊缝跟踪方法
CN114770520A (zh) * 2022-05-24 2022-07-22 深圳市超准视觉科技有限公司 机器人焊接轨迹及姿态的规划方法
CN115709331A (zh) * 2022-11-23 2023-02-24 山东大学 基于目标检测的焊接机器人全自主视觉引导方法及系统
CN116149327A (zh) * 2023-02-08 2023-05-23 广州番禺职业技术学院 一种实时跟踪的前瞻路径规划系统、方法及装置
CN116149327B (zh) * 2023-02-08 2023-10-20 广州番禺职业技术学院 一种实时跟踪的前瞻路径规划系统、方法及装置
CN115890053A (zh) * 2023-03-02 2023-04-04 成都熊谷加世电器有限公司 内焊机对口方法、装置、内焊机及存储介质
CN115890053B (zh) * 2023-03-02 2023-08-18 成都熊谷加世电器有限公司 内焊机对口方法、装置、内焊机及存储介质
CN116833650A (zh) * 2023-08-08 2023-10-03 南京创丰精密钣金制造有限公司 一种具有路径寻迹功能的汽车门体焊接装置
CN116833650B (zh) * 2023-08-08 2023-11-28 南京创丰精密钣金制造有限公司 一种具有路径寻迹功能的汽车门体焊接装置
CN117182255A (zh) * 2023-10-24 2023-12-08 中国机械总院集团哈尔滨焊接研究所有限公司 一种基于线激光识别的自适应焊接方法

Similar Documents

Publication Publication Date Title
CN110245599A (zh) 一种智能三维焊缝自主寻迹方法
CN109604777A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN110539109B (zh) 一种基于单双目视觉的机器人自动焊接系统及方法
CN104384765B (zh) 基于三维模型与机器视觉的自动焊接方法
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
EP3749475B1 (en) Method for seam tracking in pipe welding
CN108747132B (zh) 自主移动焊接机器人视觉控制系统
CN106181162B (zh) 一种基于机器视觉的实时焊缝跟踪检测方法
CN107414253B (zh) 基于十字型激光器的焊缝跟踪控制装置及控制方法
CN104842362B (zh) 一种机器人抓取物料包的方法和机器人抓取装置
CN106392267B (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN102179598B (zh) 平板窄焊缝初始焊位对中和焊缝跟踪方法及装置
CN113102880A (zh) 一种基于视觉示教的线激光焊缝自动跟踪系统及方法
CN108399639A (zh) 基于深度学习的快速自动抓取与摆放方法
CN109719438A (zh) 一种工业焊接机器人焊缝自动跟踪方法
CN107824940A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN113894481B (zh) 复杂空间曲线焊缝的焊接位姿调整方法及装置
CN110480128A (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN114043087B (zh) 一种三维轨迹激光焊接焊缝跟踪姿态规划方法
CN107020449A (zh) 焊缝跟踪传感器及其焊缝跟踪方法
CN112453648A (zh) 一种基于3d视觉的离线编程激光焊缝跟踪系统
CN108098134A (zh) 一种新型激光视觉焊缝跟踪系统及方法
CN112144053A (zh) 一种用于水下船体表层缺陷修复的激光熔覆装置及方法
CN207077080U (zh) 基于十字型激光器的焊缝跟踪控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917

RJ01 Rejection of invention patent application after publication