CN110524237A - 一种基于机器视觉的八音琴机芯装配方法 - Google Patents

一种基于机器视觉的八音琴机芯装配方法 Download PDF

Info

Publication number
CN110524237A
CN110524237A CN201910648250.9A CN201910648250A CN110524237A CN 110524237 A CN110524237 A CN 110524237A CN 201910648250 A CN201910648250 A CN 201910648250A CN 110524237 A CN110524237 A CN 110524237A
Authority
CN
China
Prior art keywords
tablet
sound cylinder
machine core
sound
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910648250.9A
Other languages
English (en)
Inventor
陈金波
李政泽
华晓青
徐志武
吴惠兴
缪如君
张玉明
王美和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910648250.9A priority Critical patent/CN110524237A/zh
Publication of CN110524237A publication Critical patent/CN110524237A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种基于机器视觉的八音琴机芯装配方法。本方法的操作步骤如下：采用张正友标定技术进行摄像机标定；(2)气动导轨运动，从上料料斗中推出一个音片，把其移动到指定拍照位置进行采图；(3)伺服电机运动，驱动音筒底板组件到达指定位置，等待相机采图；(4)拍摄音片，识别并画出音片端线及中心线；(5)拍摄音筒，识别并画出音筒凸点啮合线；(6)利用坐标系转换原理计算装配距离，移动平台在Y轴方向上向音片进给；(7)驱动微转角调整装置补偿装配距离，拧紧螺丝以固定机芯，装配结束。本发明能够准确定位音片和音筒的位置、机芯装配精度高、减小装配周期，提高流水线的装配效率。

Description

一种基于机器视觉的八音琴机芯装配方法
技术领域
本发明涉及自动化装配领域，具体涉及一种基于机器视觉的八音琴机芯装配方法。
技术背景
自动化装配生产线是现代制造业中的重要装备，在美国、日本和西欧等工业先进国家的生产中已得到了广泛应用。在国内，对相关技术的研究开发起步较晚，自行设计与制造精密机芯机器人化自动装配线在国内还处于探索阶段。目前绝大部分八音琴装配流水线采用单个音片和音筒装配，且音筒型号尺寸单一。在这种工作方式下装配效率和装配准确率低；并且在八音琴机芯装配中，先装配好音筒，然后再装配音片，在装配时要求音片端线与音筒齿面平行，但是以前的自动装配线中无法保证音筒齿面和音片端线的平行，所以迫切需要研究一套可以快速准确的识别音片和音筒的安装位置并进行机芯装配，减小机芯的安装周期，来更好地完成八音琴机芯装配。
发明内容
本发明的目的在于解决在自动化装配生产线上，实现对八音琴音筒及音片的快速识别定位后进行机芯精密装配，减小音片及音筒的安装周期，提高装配效率等问题；为此本发明提供一种基于机器视觉的八音琴机芯装配方法，该方法不仅能够准确的检测出音筒及音片的位置，而且机芯装配速度快，具有实时性的特点。
为达到上述目的，本发明采用下述技术方案：
一种基于机器视觉的八音琴机芯装配方法，其特征在于：采用的装配设备包括气动导轨(1)、音片(2)、X轴方向矫正平台(3)、音筒底板组件(4)、安装好的八音琴组件(5)、装配系统微转角调整装置(6)、以及引用专利权人的发明专利《八音琴机芯装配中微转角调整的装置》(专利申请号201610199313.3)，总体装配包括以下步骤：
(a)采用张正友标定技术进行摄像机标定；
(b)气动导轨运动，从上料料斗中推出一个音片，把其移动到指定拍照位置进行采图；
(c)伺服电机运动，驱动音筒底板组件到达指定位置，等待相机采图；
(d)拍摄音片，识别并画出音片端线及中心线；
(e)拍摄音筒，识别并画出音筒凸点啮合线；
(f)利用坐标系转换原理计算装配距离，移动平台在Y轴方向上向音片进给；
(g)驱动微转角调整装置补偿装配距离，拧紧螺丝以固定机芯，装配结束。
本发明与现有技术相比较，具有以下显而易见的突出实质性特点及显著技术进步：
解决了在提取所有音齿中点时齿数不全的情况；针对这种情况，我们先提取出音筒两端的端面并以此为基准，去检查是否存在有部分音齿未被采集到的情况，并且规避此状况对检测效果和准确性所带来的影响；本发明通过将音筒旋转过程采集的图片进行统一处理，不仅能够获得更高的准确度，还减少了整个装配过程中运算的时间；本发明优化了部分产品音齿表面存在毛刺的情况。规避了在提取音齿中点时，毛刺对提取效果产生的影响，减少了后续音片检测的计算量，进而提高了八音琴的装配速度与装配精度，具有实时性的特点。
附图说明
图1为本发明方法的流程图。
图2为本发明方法的对中矫正原理图。
图3为本发明方法的装配示意图
图4为本发明方法一个实施例的示意图，其中(a)为实施例音片待检测图；(b)为实施例音片检测结果图；(c)为实施例音筒待检测图；(d)为实施例音筒检测结果图。
具体实施方式
下面结合附图，对本发明的优选实施例做进一步的说明。
实施例一：
如图1～图4所示，本基于机器视觉的八音琴机芯装配方法，采用的装备设备包括气动导轨、音片、X轴方向矫正平台、音筒底板组件、安装好的八音琴组件、Y轴和Z轴方向矫正平台、伺服电机，等部分。本实施例利用计算机视觉技术处理八音琴音片与音齿在装配位置的图像，对音片和音筒的图像分别进行处理，提取出两者的位置信息，然后利用坐标系转换原理计算出音片与音筒搭接端线中心在装配方向上的距离，将数据传给PLC通过伺服驱动实现自动化精密装配，以此来实现八音琴机芯的装配，具体包括以下步骤：
(a)采用张正友标定技术进行摄像机标定；
(b)气动导轨运动，从上料料斗中推出一个音片，把其移动到指定拍照位置进行采图；
(c)伺服电机运动，驱动音筒底板组件到达指定位置，等待相机采图；
(d)拍摄音片，识别并画出音片端线及中心线；
(e)拍摄音筒，识别并画出音筒凸点啮合线；
(f)利用坐标系转换原理计算装配距离，移动平台在Y轴方向上向音片进给；
(g)驱动微转角调整装置补偿装配距离，拧紧螺丝以固定机芯，装配结束。
实施例二：本实施例与实施例一基本相同，特别之处如下：
所述步骤(a)中，为了确立二维图像坐标系与三维世界坐标系之间的关系，首先进行摄像机标定。本实施例采用张正友平面标定法，具体包括以下操作步骤：
(I)准备一个棋盘格标定板作为实验中标定的靶标。
(II)移动棋盘格标定板，从不同角度拍摄若干标定板图像。
(III)对每副标定板图像进行角点检测，获取角点像素坐标。
(IV)先不考虑畸变系数，利用最大似然估计法获取投影矩阵H，进一步求解摄像机的内部参数和外部参数，最大似然估计法计算方法如下：
假设实验中有n幅标定板图像，每幅图像有m个角点，假设每个角点的干扰噪声独立同分布，将获取的内部参数和外部参数作为初始值，求得标定板上角点的投影像素值，以图像像素点和投影像素值的距离作为目标函数，求距离最小时的外部参数解：
上式中，mij表示第i幅标定板图像中的第j个角点的像素坐标，Ri、ti分别是根据第i幅标定板图像计算得到的摄像机的旋转矩阵与平移向量，Mj是第j个角点的世界坐标系下的坐标值。
(V)考虑畸变系数，通过线性最小二乘法求解畸变方程中的畸变系数。
(VI)把以获取的摄像机内部参数作为初始值，考虑畸变因素下的重投影，利用上式的Levenberg-Marquardt算法对图像点与重投影点间的距离进行迭代求解，完成对摄像机参数的非线性优化，提高摄像机标定的精度；
所述步骤(b)中，将一块音片从音片上料槽中推出，并将音片夹持装置从原点移动到相机下方指定拍照位置，待装置到达指定位置后PLC给上位机发指令；
所述步骤(c)中，两台伺服电机驱动音筒底板组件到达指定位置，待装置到达指定位置后PLC给上位机发指令；
所述步骤(d)中，上位机利用相机进行采图，获取到音片图像后(见图4(a))，通过算法检测音片端线。由于音片的规格固定并且每次装配前都由电机驱动移动到固定位置，所以处理音片时设置感兴趣区域进行检测，加快检测速度；进一步的将一块音片中的每一小片音键的顶部中点坐标提取出来并且由最小二乘法拟合出一条直线，具体的长度信息由两端小片的中点确定，算法提取出来的效果如图4(b)中的黑色加粗线段；
所述步骤(e)中，音筒外侧凸点外边面旋转面母线代表音筒所在位置信息。音筒静止时，相机采集到的图像如图4(c)所示，进一步的相机连续采图，并将所有的图像叠加在一起，显示出音筒上面所有齿的所在位置及音齿外端，叠加后的图片如图4(d)所示；
所述步骤(f)中，音片与音筒搭接端线为两条有夹角的线段，装配要求为将这两条线段移动至重合，如图2所示。进一步的由步骤(4)(5)获取音片与音筒搭接端线的左右端点分别为(SheetLX,SheetLY)、(SheetRX,SheetRY)和(TubeLX,TubeLY)、(TubeRX,TubeRY)，YpDeg、YtDeg为音片与音筒搭接端线与图像水平方向的夹角，两者差值Deg即音片与音筒的搭接端线之间的夹角，根据夹角调整平台以重合交点旋转使音片与音筒的端面平行：
Deg＝YtDeg-YpDeg
由音片和音筒的左右端点坐标可以分别计算出其中点(SheetMX,SheetMY)、(TubeMX,TubeMY)，则音片和音筒在图像X、Y方向的移动距离分别为DistanceX、DistanceY：
DistanceX＝TubeMX-SheetMX
DistanceY＝TubeMY-SheetMY
以音片搭接端线为基准确定在装配方向上音片与音筒各自需要移动的距离为OffsetX、OffsetY：
OffsetX＝DistanceX×cos(YpDeg)+DistanceY×sin(YpDeg)
OffsetY＝DistanceY×cos(YpDeg)-DistanceX×sin(YpDeg)
利用了坐标变换原理得到图像坐标系下音片音筒搭接端线中心距离在音片端线与其垂线构成的坐标系上的投影；按照标定结果得到的比例系数将OffsetX、OffsetY按照比例缩放得到实际的物理数据；
所述步骤(g)中，音片与音筒搭接端线对应后，采用微转角装置使机芯在X方向实现微量转动，同时Z轴下降到装配位置，拧紧螺丝以固定机芯，装配结束。
为了验证本发明的可行性，本实施例通过现场试验进行测试。试验结果表明，该方法能够实现音片和音筒的快速定位与八音琴机芯的精密装配，且冗余计算少速度快，可以提高机芯装配的精度和效率，流程简单容易理解，符合工厂流水线的技术要求。

Claims (8)

1.一种基于机器视觉的八音琴机芯装配方法，其特征在于：采用的装配设备包括气动导轨(1)、音片(2)、X轴方向矫正平台(3)、音筒底板组件(4)、安装好的八音琴组件(5)、装配系统微转角调整装置(6)、以及引用专利权人的发明专利《八音琴机芯装配中微转角调整的装置》，专利申请号201610199313.3；具体包括以下操作步骤：
(a)采用张正友标定技术进行摄像机标定；
(b)气动导轨运动，从上料料斗中推出一个音片，把其移动到指定拍照位置进行采图；
(c)伺服电机运动，驱动音筒底板组件到达指定位置，等待相机采图；
(d)拍摄音片，识别并画出音片端线及中心线；
(e)拍摄音筒，识别并画出音筒凸点啮合线；
(f)利用坐标系转换原理计算装配距离，移动平台在Y轴方向上向音片进给；
(g)驱动微转角调整装置补偿装配距离，拧紧螺丝以固定机芯，装配结束。
2.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(a)中，为了确立二维图像坐标系与三维世界坐标系之间的关系，首先进行摄像机标定，采用张正友平面标定法，具体包括以下步骤：
(I)准备一个棋盘格标定板作为实验中标定的靶标；
(II)移动棋盘格标定板，从不同角度拍摄若干标定板图像；
(III)对每副标定板图像进行角点检测，获取角点像素坐标；
(IV)先不考虑畸变系数，利用最大似然估计法获取投影矩阵H，进一步求解摄像机的内部参数和外部参数；所以最大似然估计法计算方法如下：
假设实验中有n幅标定板图像，每幅图像有m个角点，假设每个角点的干扰噪声独立同分布，将获取的内部参数和外部参数作为初始值，求得标定板上角点的投影像素值，以图像像素点和投影像素值的距离作为目标函数，求距离最小时的外部参数解：
上式中，mij表示第i幅标定板图像中的第j个角点的像素坐标，Ri、ti分别是根据第i幅标定板图像计算得到的摄像机的旋转矩阵与平移向量，Mj是第j个角点的世界坐标系下的坐标值；
(V)考虑畸变系数，通过线性最小二乘法求解畸变方程中的畸变系数；
(VI)把以获取的摄像机内部参数作为初始值，考虑畸变因素下的重投影，利用上式的Levenberg-Marquardt算法对图像点与重投影点间的距离进行迭代求解，完成对摄像机参数的非线性优化，提高摄像机标定的精度。
3.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(b)中，将一块音片从音片上料槽中推出，并将音片夹持装置从原点移动到相机下方指定拍照位置，待装置到达指定位置后PLC给上位机发指令。
4.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(c)中,两台伺服电机驱动音筒底板组件到达指定位置，待装置到达指定位置后PLC给上位机发指令。
5.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(d)中，上位机利用相机进行采图，获取到音片图像后，通过算法检测音片端线；由于音片的规格固定并且每次装配前都由电机驱动移动到固定位置，所以处理音片时设置感兴趣区域进行检测，加快检测速度；进一步的将一块音片中的每一小片音键的顶部中点坐标提取出来并且由最小二乘法拟合出一条直线，具体的长度信息由两端小片的中点确定。
6.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(e)中，音筒外侧凸点外边面旋转面母线代表音筒所在位置信息；音筒静止时，相机采集到的图像，进一步的相机连续采图，并将所有的图像叠加在一起，显示出音筒上面所有齿的所在位置及音齿外端。
7.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(f)中，音片与音筒搭接端线为两条有夹角的线段，装配要求为将这两条线段移动至重合；进一步的由步骤(4)(5)获取音片与音筒搭接端线的左右端点分别为(SheetLX,SheetLY)、(SheetRX,SheetRY)和(TubeLX,TubeLY)、(TubeRX,TubeRY)，YpDeg、YtDeg为音片与音筒搭接端线与图像水平方向的夹角，两者差值Deg即音片与音筒的搭接端线之间的夹角，根据夹角调整平台以重合交点旋转使音片与音筒的端面平行：
Deg＝YtDeg-YpDeg
由音片和音筒的左右端点坐标可以分别计算出其中点(SheetMX,SheetMY)、(TubeMX,TubeMY)，则音片和音筒在图像X、Y方向的移动距离分别为DistanceX、DistanceY：
DistanceX＝TubeMX-SheetMX
DistanceY＝TubeMY-SheetMY
以音片搭接端线为基准确定在装配方向上音片与音筒各自需要移动的距离为OffsetX、OffsetY：
OffsetX＝DistanceX×cos(YpDeg)+DistanceY×sin(YpDeg)
OffsetY＝DistanceY×cos(YpDeg)-DistanceX×sin(YpDeg)
利用了坐标变换原理得到图像坐标系下音片音筒搭接端线中心距离在音片端线与其垂线构成的坐标系上的投影；按照标定结果得到的比例系数将OffsetX、OffsetY按照比例缩放得到实际的物理数据。
8.根据权利要求1所述的基于机器视觉的八音琴机芯装配方法，其特征在于：所述步骤(g)中，音片与音筒搭接端线对应后，采用微转角装置使机芯在X方向实现微量转动，同时Z轴下降到装配位置，拧紧螺丝以固定机芯，装配结束。
CN201910648250.9A 2019-07-18 2019-07-18 一种基于机器视觉的八音琴机芯装配方法 Pending CN110524237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910648250.9A CN110524237A (zh) 2019-07-18 2019-07-18 一种基于机器视觉的八音琴机芯装配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910648250.9A CN110524237A (zh) 2019-07-18 2019-07-18 一种基于机器视觉的八音琴机芯装配方法

Publications (1)

Publication Number Publication Date
CN110524237A true CN110524237A (zh) 2019-12-03

Family

ID=68660629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910648250.9A Pending CN110524237A (zh) 2019-07-18 2019-07-18 一种基于机器视觉的八音琴机芯装配方法

Country Status (1)

Country Link
CN (1) CN110524237A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222857A1 (en) * 2021-04-26 2022-07-14 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Camera calibration method, electronic device, storage medium, and road side device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4034456A (en) * 1975-12-11 1977-07-12 Bowers Robert H Machine for providing ball ends on musical instrument strings
CN105855867A (zh) * 2016-04-02 2016-08-17 上海大学 八音琴机芯装配中微转角调整的装置
CN109447908A (zh) * 2018-09-25 2019-03-08 上海大学 一种基于立体视觉的钢卷识别定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4034456A (en) * 1975-12-11 1977-07-12 Bowers Robert H Machine for providing ball ends on musical instrument strings
CN105855867A (zh) * 2016-04-02 2016-08-17 上海大学 八音琴机芯装配中微转角调整的装置
CN109447908A (zh) * 2018-09-25 2019-03-08 上海大学 一种基于立体视觉的钢卷识别定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王美和等: "基于计算机视觉的八音琴机芯检测技术", 《工业控制计算机》 *
马通等: "八音琴音片装配自动检测与矫正系统的设计", 《工业控制计算机》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222857A1 (en) * 2021-04-26 2022-07-14 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Camera calibration method, electronic device, storage medium, and road side device

Similar Documents

Publication Publication Date Title
CN107830813B (zh) 激光线标记的长轴类零件图像拼接及弯曲变形检测方法
CN108363508B (zh) 一种手机触控屏Mark定位非接触式视觉检测方法
CN105043259B (zh) 基于双目视觉的数控机床旋转轴误差检测方法
CN105674880B (zh) 基于双目原理的接触网几何参数测量方法及系统
CN107101582A (zh) 基于结构光视觉的轴类零件径向跳动误差在线测量方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
CN102818544B (zh) 汽车轮毂螺栓孔节圆中心和中孔中心偏心距在线测量方法
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN106352817A (zh) 一种非接触四轮定位仪及其定位方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
CN108805940B (zh) 一种变倍相机在变倍过程中跟踪定位的方法
CN107687821B (zh) 用于深孔洞旋转件形貌测量的多相机光刀系统标定方法
CN114170284A (zh) 基于主动标志点投射辅助的多视图点云配准方法
CN116465335A (zh) 基于点云匹配的自动测厚方法和系统
CN109035343A (zh) 一种基于监控相机的楼层相对位移测量方法
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN110524237A (zh) 一种基于机器视觉的八音琴机芯装配方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN113409395B (zh) 导管管端高精度检测定位方法
CN112747671A (zh) 三维检测系统和三维检测方法
CN110057555B (zh) 线激光器平面度检测方法
CN108537748B (zh) 一种基于角度的远场图像畸变校正方法及系统
CN115841517A (zh) 一种基于dic双圆交比的结构光标定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203