CN108453441A - 工业焊接机器人焊接质量识别方法 - Google Patents
工业焊接机器人焊接质量识别方法 Download PDFInfo
- Publication number
- CN108453441A CN108453441A CN201810240562.1A CN201810240562A CN108453441A CN 108453441 A CN108453441 A CN 108453441A CN 201810240562 A CN201810240562 A CN 201810240562A CN 108453441 A CN108453441 A CN 108453441A
- Authority
- CN
- China
- Prior art keywords
- detection data
- information
- acquisition
- matrix
- directional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种工业焊接机器人焊接质量识别方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，包括：(10)通过三个视频采集设备获得对工业焊接机器人焊接作业中的焊接对象的检测数据；(20)对检测数据进行稳定化；(30)对经过稳定化的数据进行焊接质量识别。本方法提高了通过图像识别机器人焊接质量的准确度和可靠性。
Description
技术领域
本发明属于机器人车间监控技术领域，特别是涉及一种工业焊接机器人焊接质量识别方法。
背景技术
机器人已经被普遍地应用到生产线，包括组装、焊接、涂胶等场合都常见机器人执行操作的身影。例如，人们对于汽车等机械加工制品的性能和外观的要求也越来越高。汽车涂装效果是汽车外观给人最直接的印象。汽车涂装工艺是汽车制造四大工艺(冲压、焊装、涂装、总装)之一，其质量直接影响消费者对于汽车品牌的第一印象。由于汽车涂装质量受到多种因素的影响，如：涂料本身、涂装环境以及各个工艺参数设定等，使得汽车涂装成为一项高精度、高难度的工作，因此汽车车身喷漆烘干后仍然需要进行瑕疵检测。但由于汽车表面的高反光特性，使得瑕疵检测异常困难。
目前，我国机器人加工车间中的涂装瑕疵检测环节均由人工完成，通过打油石，光照等方法，从不同角度结合观察和触摸等方式对微小瑕疵进行检测。在生产线上，完成涂装烘干后，一般由多名工人对瑕疵进行检测，为后续修复环节提供依据。这项工作不仅需要检测人员具有丰富的工作经验，并且要求检测工人始终保持高强度的注意力，对于流水线连续工作的工人，很容易产生视觉疲劳，从而易导致检测效率和检测准确率下降，不可避免地会出现误检漏检的现象。另一方面，随着世界经济的区域调整和中国经济的产业转型，人工成本也越来越高，采用人工检测的方法也无法适应目前高速、精准、自动化的生产要求。因此，如何提高瑕疵检测的自动化水平，降低生产成本是我国汽车产业也是世界机器人加工业面临的迫切问题。此外，通过视频检测瑕疵是本领域常用的技术手段，但车间难免由于传输带运动、机械加工操作等造成视频采集过程中存在对摄像设备的震动，影响利用其图像进行瑕疵检测的质量。
经检索，申请号为CN201510317542.6的中国发明专利申请公开了一种机器人焊接系统的焊接质量检测方法，其包括：第一获取步骤：获取工件的标识信息；第二获取步骤，获取焊接所述工件时的焊接电流信息、焊接电压信息和焊接速度信息；以及第一比较判断步骤，将所获取的焊接电流信息、焊接电压信息、焊接速度信息分别与预定的对应所述工件的标识信息的焊接电流区间、焊接电压区间、焊接速度区间进行比较，以判断所述工件的焊接是否存在焊接质量问题。但是，这种方式的电流、电压信息和速度信息由于机器人的动作，通常难以获得稳定和准确的检测。
发明内容
为了提高机器人焊接质量监控准确度，本发明提供了一种工业焊接机器人焊接质量识别方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，包括：
(10)通过三个视频采集设备获得对工业焊接机器人焊接作业中的焊接对象的检测数据；
(20)对检测数据进行稳定化；
(30)对经过稳定化的数据进行焊接质量识别。
进一步地，所述步骤(10)的图像满足如下条件：所述视频采集设备的拍摄角度彼此不同。
进一步地，所述视频采集设备的焦距能够进行自动调整，且各自的调整范围彼此不同。
进一步地，所述检测数据是由多个图像组成的帧数据集合。
进一步地，所述步骤(10)包括：
(101)第一视频采集设备采集第一检测数据并记录其第一采集方向信息；
(102)第二视频采集设备采集第二检测数据并记录其第二采集方向信息；
(103)第三视频采集设备采集第三检测数据并记录其第三采集方向信息；
(104)对所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行第一收集，得到第一检测数据集。
进一步地，所述步骤(20)包括：
(201)根据第一检测数据、第二检测数据和第三检测数据在不同时刻分别对应的第一采集方向、第二采集方向、第三采集方向，对第一检测数据集中的各帧数据进行重新组合，得到第二检测数据集；
(202)将第二检测数据集传输到机器人监控服务器。
进一步地，所述第一采集方向信息包括水平信息和姿态信息，所述水平信息表示视频采集设备的焦距所在直线朝向现场数据来源的方向的方向角，所述姿态信息表示所述视频采集设备的三维加速度矢量。
进一步地，所述第一收集包括：将所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行保存，得到第一检测数据集。
进一步地，所述步骤(201)包括：
(2011)在第一时刻t1，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第一水平信息差值α1和第二水平信息差值α2；
(2012)在第一时刻t1之后的第二时刻t2，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第三水平信息差值α3和第四水平信息差值α4；
(2013)计算第一采集方向信息的姿态信息、第二采集方向信息的姿态信息和第三采集方向信息的姿态信息这三种姿态信息在第一时刻t1与第二时刻t2之间的时间段内的第一姿态信息变化率g1、第二姿态信息变化率g2和第三姿态信息变化率g3，其中所述第一、第二和第三姿态信息变化率是通过三维加速度的矢量和与第二时刻与第一时刻之间的时间差之间的比值计算得到的；
(2014)计算像素匹配矩阵A如下：
(2015)设在第一时刻t1，第一检测数据对应的像素集合对应的矩阵为m，第二检测数据对应的像素集合对应的矩阵为n，第三检测数据对应的像素集合对应的矩阵为p；在第二时刻t2，第一检测数据对应的像素集合对应的矩阵为x，第二检测数据对应的像素集合对应的矩阵为y，第三检测数据对应的像素集合对应的矩阵为z，计算第一过渡矩阵C1为：
其中mod(t2-t1,2)表示对t2-t1的差值的绝对值取相对于2的商的余数；
(2016)以作为翻转中心点的空间坐标，对矩阵A进行对称翻转，得到矩阵A’；
(2017)计算第二过渡矩阵C2为：
(2018)利用矩阵C2对矩阵A’进行内插，得到矩阵A”，
计算第二检测数据集中与第二时刻t2对应的检测数据帧对应的像素集合对应的矩阵q：
(2019)将q进行保存，进而不断累积得到第二检测数据集。
进一步地，所述步骤(30)包括：当所述第二检测数据集的帧数据中，与预定位置相对应的空间坐标对应的帧数据的灰度大于预设灰度阈值时，发出焊接质量预警信息。
本发明的技术方案具有如下有益效果：
通过多个不同焦距的摄像头、照相机等摄像设备采集到的对工业焊接机器人焊接作业中的焊接对象的检测数据的稳定化处理，提高了识别焊接质量过程中由于机器人所在流水线或操作工件的抖动、震动产生的焊接质量检测图像模糊不清的问题，提高了供机器人监控服务器通过灰度面积和深度的检测进行焊缝宽度识别的准确度和可靠性。
附图说明
图1示出了本发明的方法流程框图。
具体实施方式
根据本发明的优选实施例，如图1所示的工业焊接机器人焊接质量识别方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，包括：
(10)通过三个视频采集设备获得对工业焊接机器人焊接作业中的焊接对象的检测数据；
(20)对检测数据进行稳定化；
(30)对经过稳定化的数据进行焊接质量识别。
优选地，所述步骤(10)的图像满足如下条件：所述视频采集设备的拍摄角度彼此不同。
优选地，所述视频采集设备的焦距能够进行自动调整，且各自的调整范围彼此不同。
优选地，所述检测数据是由多个图像组成的帧数据集合。
优选地，所述步骤(10)包括：
(101)第一视频采集设备采集第一检测数据并记录其第一采集方向信息；
(102)第二视频采集设备采集第二检测数据并记录其第二采集方向信息；
(103)第三视频采集设备采集第三检测数据并记录其第三采集方向信息；
(104)对所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行第一收集，得到第一检测数据集。
优选地，所述步骤(20)包括：
(201)根据第一检测数据、第二检测数据和第三检测数据在不同时刻分别对应的第一采集方向、第二采集方向、第三采集方向，对第一检测数据集中的各帧数据进行重新组合，得到第二检测数据集；
(202)将第二检测数据集传输到机器人监控服务器。
优选地，所述第一采集方向信息包括水平信息和姿态信息，所述水平信息表示视频采集设备的焦距所在直线朝向现场数据来源的方向的方向角，所述姿态信息表示所述视频采集设备的三维加速度矢量。
优选地，所述第一收集包括：将所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行保存，得到第一检测数据集。
优选地，所述步骤(201)包括：
(2011)在第一时刻t1，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第一水平信息差值α1和第二水平信息差值α2；
(2012)在第一时刻t1之后的第二时刻t2，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第三水平信息差值α3和第四水平信息差值α4；
(2013)计算第一采集方向信息的姿态信息、第二采集方向信息的姿态信息和第三采集方向信息的姿态信息这三种姿态信息在第一时刻t1与第二时刻t2之间的时间段内的第一姿态信息变化率g1、第二姿态信息变化率g2和第三姿态信息变化率g3，其中所述第一、第二和第三姿态信息变化率是通过三维加速度的矢量和与第二时刻与第一时刻之间的时间差之间的比值计算得到的；
(2014)计算像素匹配矩阵A如下：
(2015)设在第一时刻t1，第一检测数据对应的像素集合对应的矩阵为m，第二检测数据对应的像素集合对应的矩阵为n，第三检测数据对应的像素集合对应的矩阵为p；在第二时刻t2，第一检测数据对应的像素集合对应的矩阵为x，第二检测数据对应的像素集合对应的矩阵为y，第三检测数据对应的像素集合对应的矩阵为z，计算第一过渡矩阵C1为：
其中mod(t2-t1,2)表示对t2-t1的差值的绝对值取相对于2的商的余数；
(2016)以作为翻转中心点的空间坐标，对矩阵A进行对称翻转，得到矩阵A’；
(2017)计算第二过渡矩阵C2为：
(2018)利用矩阵C2对矩阵A’进行内插，得到矩阵A”，
计算第二检测数据集中与第二时刻t2对应的检测数据帧对应的像素集合对应的矩阵q：
(2019)将q进行保存，进而不断累积得到第二检测数据集。
优选地，所述步骤(30)包括：当所述第二检测数据集的帧数据中，与预定位置相对应的空间坐标对应的帧数据的灰度大于预设灰度阈值时，发出焊接质量预警信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种工业焊接机器人焊接质量识别方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，其特征在于，包括：
(10)通过三个视频采集设备获得对工业焊接机器人焊接作业中的焊接对象的检测数据；
(20)对检测数据进行稳定化；
(30)对经过稳定化的数据进行焊接质量识别。
2.根据权利要求1所述的工业焊接机器人焊接质量识别方法，其特征在于，所述步骤(10)的图像满足如下条件：所述视频采集设备的拍摄角度彼此不同。
3.根据权利要求1所述的工业焊接机器人焊接质量识别方法，其特征在于，所述视频采集设备的焦距能够进行自动调整，且各自的调整范围彼此不同。
4.根据权利要求3所述的工业焊接机器人焊接质量识别方法，其特征在于，所述检测数据是由多个图像组成的帧数据集合。
5.根据权利要求4所述的工业焊接机器人焊接质量识别方法，其特征在于，所述步骤(10)包括：
(101)第一视频采集设备采集第一检测数据并记录其第一采集方向信息；
(102)第二视频采集设备采集第二检测数据并记录其第二采集方向信息；
(103)第三视频采集设备采集第三检测数据并记录其第三采集方向信息；
(104)对所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行第一收集，得到第一检测数据集。
6.根据权利要求5所述的工业焊接机器人焊接质量识别方法，其特征在于，所述步骤(20)包括：
(201)根据第一检测数据、第二检测数据和第三检测数据在不同时刻分别对应的第一采集方向、第二采集方向、第三采集方向，对第一检测数据集中的各帧数据进行重新组合，得到第二检测数据集；
(202)将第二检测数据集传输到机器人监控服务器。
7.根据权利要求6所述的工业焊接机器人焊接质量识别方法，其特征在于，所述第一采集方向信息包括水平信息和姿态信息，所述水平信息表示视频采集设备的焦距所在直线朝向现场数据来源的方向的方向角，所述姿态信息表示所述视频采集设备的三维加速度矢量。
8.根据权利要求7所述的工业焊接机器人焊接质量识别方法，其特征在于，所述第一收集包括：将所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行保存，得到第一检测数据集。
9.根据权利要求8所述的工业焊接机器人焊接质量识别方法，其特征在于，所述步骤(201)包括：
(2011)在第一时刻t1，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第一水平信息差值α1和第二水平信息差值α2；
(2012)在第一时刻t1之后的第二时刻t2，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第三水平信息差值α3和第四水平信息差值α4；
(2013)计算第一采集方向信息的姿态信息、第二采集方向信息的姿态信息和第三采集方向信息的姿态信息这三种姿态信息在第一时刻t1与第二时刻t2之间的时间段内的第一姿态信息变化率g1、第二姿态信息变化率g2和第三姿态信息变化率g3，其中所述第一、第二和第三姿态信息变化率是通过三维加速度的矢量和与第二时刻与第一时刻之间的时间差之间的比值计算得到的；
(2014)计算像素匹配矩阵A如下：
(2015)设在第一时刻t1，第一检测数据对应的像素集合对应的矩阵为m，第二检测数据对应的像素集合对应的矩阵为n，第三检测数据对应的像素集合对应的矩阵为p；在第二时刻t2，第一检测数据对应的像素集合对应的矩阵为x，第二检测数据对应的像素集合对应的矩阵为y，第三检测数据对应的像素集合对应的矩阵为z，计算第一过渡矩阵C1为：
其中mod(t2-t1,2)表示对t2-t1的差值的绝对值取相对于2的商的余数；
(2016)以作为翻转中心点的空间坐标，对矩阵A进行对称翻转，得到矩阵A’；
(2017)计算第二过渡矩阵C2为：
(2018)利用矩阵C2对矩阵A’进行内插，得到矩阵A”，
计算第二检测数据集中与第二时刻t2对应的检测数据帧对应的像素集合对应的矩阵q：
(2019)将q进行保存，进而不断累积得到第二检测数据集。
10.根据权利要求9所述的工业焊接机器人焊接质量识别方法，其特征在于，所述步骤(30)包括：当所述第二检测数据集的帧数据中，与预定位置相对应的空间坐标对应的帧数据的灰度大于预设灰度阈值时，发出焊接质量预警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810240562.1A CN108453441A (zh) | 2018-03-22 | 2018-03-22 | 工业焊接机器人焊接质量识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810240562.1A CN108453441A (zh) | 2018-03-22 | 2018-03-22 | 工业焊接机器人焊接质量识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108453441A true CN108453441A (zh) | 2018-08-28 |
Family
ID=63237474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810240562.1A Withdrawn CN108453441A (zh) | 2018-03-22 | 2018-03-22 | 工业焊接机器人焊接质量识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108453441A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489999A (zh) * | 2018-03-23 | 2018-09-04 | 四川恒立智方自动化工程有限公司 | 工件的组装瑕疵检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102513650A (zh) * | 2011-11-23 | 2012-06-27 | 华南理工大学 | 一种噪声、相关、时耗三因素耦合维归约方法 |
| CN102997927A (zh) * | 2011-09-09 | 2013-03-27 | 中国电信股份有限公司 | 信息采集和处理方法及装置 |
| CN204414117U (zh) * | 2014-12-08 | 2015-06-24 | 湖北汽车工业学院 | 一种视觉定位焊接机器人 |
| CN204621384U (zh) * | 2015-03-30 | 2015-09-09 | 中国石油天然气集团公司 | 一种焊接质量监测系统 |
| CN205378045U (zh) * | 2016-01-19 | 2016-07-06 | 中国农业科学院农业信息研究所 | 一种作物图像采集装置 |
| CN106945047A (zh) * | 2017-04-27 | 2017-07-14 | 上海新朋联众汽车零部件有限公司 | 焊接机器人误差补偿控制系统及其控制方法 |
-
2018
- 2018-03-22 CN CN201810240562.1A patent/CN108453441A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102997927A (zh) * | 2011-09-09 | 2013-03-27 | 中国电信股份有限公司 | 信息采集和处理方法及装置 |
| CN102513650A (zh) * | 2011-11-23 | 2012-06-27 | 华南理工大学 | 一种噪声、相关、时耗三因素耦合维归约方法 |
| CN204414117U (zh) * | 2014-12-08 | 2015-06-24 | 湖北汽车工业学院 | 一种视觉定位焊接机器人 |
| CN204621384U (zh) * | 2015-03-30 | 2015-09-09 | 中国石油天然气集团公司 | 一种焊接质量监测系统 |
| CN205378045U (zh) * | 2016-01-19 | 2016-07-06 | 中国农业科学院农业信息研究所 | 一种作物图像采集装置 |
| CN106945047A (zh) * | 2017-04-27 | 2017-07-14 | 上海新朋联众汽车零部件有限公司 | 焊接机器人误差补偿控制系统及其控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489999A (zh) * | 2018-03-23 | 2018-09-04 | 四川恒立智方自动化工程有限公司 | 工件的组装瑕疵检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106239476B (zh) | 机器人与具备力的显示功能的机器人控制装置 | |
| Oh et al. | Bridge inspection robot system with machine vision | |
| CN113465511B (zh) | 一种钢卷尺寸在线测量及全方位端面缺陷在线检测方法 | |
| CN101387493B (zh) | 铁塔构件孔的形位尺寸非接触光电检测方法 | |
| CN107088892A (zh) | 一种基于双目视觉的工业机器人运动精度检测方法 | |
| CN103394973B (zh) | 数字图像相关法测量高速正交切削过程应变装置及方法 | |
| CN103895042A (zh) | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 | |
| KR20140044054A (ko) | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 | |
| CN108582075A (zh) | 一种智能机器人视觉自动化抓取系统 | |
| CN114187330A (zh) | 一种基于光流法的结构微幅振动工作模态分析方法 | |
| CN115546125A (zh) | 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法 | |
| CN108453441A (zh) | 工业焊接机器人焊接质量识别方法 | |
| CN105388842A (zh) | 一种零件表面加工缺陷的定位方法 | |
| CN116894775B (zh) | 基于相机运动模型恢复和超分辨率的螺栓图像预处理方法 | |
| CN108435456A (zh) | 工业机器人喷涂控制系统 | |
| CN108489999A (zh) | 工件的组装瑕疵检测方法 | |
| CN108067725A (zh) | 一种新的机器人激光视觉焊缝检测系统及方法 | |
| CN108422122A (zh) | 基于图像识别的流水线工况监控系统 | |
| CN108436333A (zh) | 基于机器视觉的焊接机器人 | |
| CN108535263A (zh) | 涂胶机器人工作状态检测装置 | |
| Yesin et al. | Robust CAD model based visual tracking for 3D microassembly using image space potentials | |
| CN203380703U (zh) | 基于数字图像相关法的高速正交切削过程应变测量装置 | |
| Zou et al. | Features extraction of butt joint for tailored blank laser welding based on three-line stripe laser vision sensor | |
| Zhang et al. | Features extraction for structured light stripe image based on OTSU threshold | |
| CN206912816U (zh) | 识别机械工件位姿的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180828 |
|
| WW01 | Invention patent application withdrawn after publication |