CN105823430B - 成像视野小于柔性环形零件尺寸时的图像采集与拼接方法 - Google Patents

成像视野小于柔性环形零件尺寸时的图像采集与拼接方法 Download PDF

Info

Publication number
CN105823430B
CN105823430B CN201610154201.6A CN201610154201A CN105823430B CN 105823430 B CN105823430 B CN 105823430B CN 201610154201 A CN201610154201 A CN 201610154201A CN 105823430 B CN105823430 B CN 105823430B
Authority
CN
China
Prior art keywords
flexible annular
image
acquisition
annular part
topography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610154201.6A
Other languages
English (en)
Other versions
CN105823430A (zh
Inventor
何博侠
李江平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201610154201.6A priority Critical patent/CN105823430B/zh
Publication of CN105823430A publication Critical patent/CN105823430A/zh
Application granted granted Critical
Publication of CN105823430B publication Critical patent/CN105823430B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，步骤如下：步骤1：采集柔性环形零件的第一幅局部图像；步骤2：根据第一幅局部图像，获得柔性环形零件的初始轮廓位置和尺寸；步骤3：根据步骤2获得的尺寸参数，规划柔性环形零件序列局部图像的采集路径；步骤4：采集下一幅柔性环形零件的局部图像；步骤5：根据步骤4采集的局部图像，判断是否需要修正后续图像的采集路径，需要修正时，执行步骤6，否则返回步骤4，直到完成所有局部图像的采集；步骤6：修正后续局部图像的采集路径后，返回步骤4；步骤7：将采集到的所有局部图像，通过拼接算法拼接出完整的柔性环形零件图像。

Description

成像视野小于柔性环形零件尺寸时的图像采集与拼接方法
技术领域
本发明属于机器视觉与图像处理领域，具体涉及一种成像视野小于柔性环形零件尺寸时的图像采集与拼接方法。
背景技术
柔性环形零件以其优良的密封性、可靠性以及经济适用性在密封系统中得到广泛应用。柔性环形零件作为机械密封中必备的辅助密封元件，其特征参数是保证密封系统可靠工作的关键，其特征参数是指尺寸和表面质量参数。尺寸参数包括内径和截面直径；表面质量参数主要是指表面缺陷形式及其特征参数。因此，对特征参数的精确检测成为了重中之重。
当前，传统的柔性环形零件尺寸参数测量方法可分为接触式测量和非接触式测量两大类。接触式测量方法有卡尺测量法、锥棒测量法、柔性尺测量法、改装百分表测量法等；非接触式测量方法主要采用大型投影仪、工具显微镜、断面自动测量仪以及截面切片投影等。然而近年以来，随着视觉图像技术的发展，利用机器视觉技术构建专用的测量系统，成为工业检测领域的一种革新手段。机器视觉具有非接触、信息量丰富、测量简单快速等特点，很适合柔性环形零件这类弹性体的测量，但对于超过相机视野范围的大尺寸柔性环形零件的测量还需要研究。
在柔性环形零件尺寸参数特征的视觉测量与检测方面，已有不少文献对系统构成、照明方式、光学成像、图像处理、特征识别等关键技术进行了研究。如吴江在硕士学位论文“O型密封圈几何尺寸视觉测量系统的关键技术研究”中记述了一种利用X-Y-Z三坐标位移平台实现的成像距离和成像视场可动的O形圈几何尺寸测量系统。上述技术方案虽然实现了密封圈几何特征的视觉非接触测量与检测，有助于提高测量的准确性并减轻目测劳动强度，但受限于对密封圈全局成像时物面分辨率较低以及O形密封圈的空间曲面外形，存在测量范围小无法对超过相机视野范围的密封圈进行测量、检测自动化程度低、不具备智能测量能力等问题。
发明内容
本发明的目的在于提供一种成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，解决了柔性环形零件外轮廓尺寸大于相机视野范围时无法获取完整图像的问题，为后续的柔性环形零件精确的尺寸测量提供了基础。
实现本发明目的的技术解决方案为：一种成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其包括以下步骤：
步骤1：采集柔性环形零件的第一幅图像，所述图像为柔性环形零件的局部图像，转入步骤2；
将柔性环形零件置于透明玻璃工作台上，工作台中心刻有十字线，工作台上方放置装配远心镜头的相机，下方放置远心平行背光源，远心镜头和平行背光源共光轴设置，打开远心平行背光源，相机采集到柔性环形零件的局部图像。
步骤2：根据第一幅局部图像，得到柔性环形零件的初始轮廓位置，通过Hough变换检测圆算法，获得柔性环形零件的外轮廓尺寸，转入步骤3；
步骤3：根据步骤2中获得的柔性环形零件的外轮廓尺寸，规划柔性环形零件序列局部图像的采集路径，转入步骤4，步骤3规划采集路径具体步骤如下：
S31：建立路径规划模型：构造第一辅助圆I1和第二辅助圆I2，第一辅助圆I1和第二辅助圆I2为同心圆，均以透明玻璃工作台的十字线中心为圆心，I1的半径小于I2的半径，柔性环形零件的外轮廓为L2，相机采集序列图像的视场为FDi，i＝1,2,…,n；各视场的视野大小不变；
S32：在采集的第一幅图像中，第一采集视场FD1和外轮廓L2的两个边界点分别为A点和B点，确定点B的坐标(xb,yb)和AB之间的圆心角θ1；
S33：通过改变透明玻璃工作台的位置，保证视场的视野大小不变，以B点为一个边界点，确定另一个边界点C，联立第二辅助圆I2和第二采集视场FD2，求出第二次采集时，相机的采集视场中心坐标(x2,y2)，进而求得点C的坐标(xc,yc)和BC之间的圆心角θ2；
S34：重复执行步骤S33，经过多次采集图像，直至最后一次待确定的边界点与A点重复，获得所有采集到的图像分别对应的相机采集视场中心坐标，进而求得图像分别对应的边界点坐标及相邻两个边界点之间的圆心角。
步骤4：采集下一幅柔性环形零件的局部图像，转入步骤5；
步骤5：根据步骤4采集的局部图像，判断是否需要修正后续图像的采集路径，需要修正时，执行步骤6；否则执行步骤4，直至完成所有局部图像的采集后，转入步骤7。
判断是否需要修正后续图像的采集路径，方法如下：通过步骤4中采集到的柔性环形零件局部图像，通过Hough变换检测圆算法，获得此时柔性环形零件的外轮廓尺寸，对比步骤2中的外轮廓尺寸，判断是否需要修正后续图像的采集路径，当两者相等时，即不需要修正后续图像的采集路径，否则就需要修正后续图像的采集路径。
步骤6：修正后续局部图像的采集路径后，返回步骤4，修正后续局部图像的采集路径方法与步骤3方法相同；
步骤7：将采集到的所有局部图像，通过拼接算法拼接出完整的柔性环形零件图像，拼接算法步骤如下：
S71：对采集到的柔性环形零件的局部图像进行二值化，去噪处理；
S72：利用图像连通域标记方法，从采集到的柔性环形零件的局部图像中提取十字线；
S73：分别计算步骤S72中提取出的十字线的中心点坐标；
S74：根据十字线的中心点坐标，拼接出完整的柔性环形零件图像。
所述柔性环形零件的外轮廓尺寸不超过相机视野范围的2倍。
本发明与现有技术相比，其显著的优点在于：(1)采用非接触方式，当柔性环形零件尺寸大于成像视野时，可为精确测量柔性环形零件尺寸提供基础。
(2)拼接算法拼接准确，误差在一到两个像素以内。
(3)路径规划算法简单、高效，提高了测量效率。
附图说明
图1为本发明的图像采集与拼接方法流程图。
图2为本发明相机与柔性环形零件空间位置关系示意图。
图3为本发明的图像采集路径规划原理图。
图4为本发明的图像拼接示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
结合图1和图2，一种成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，包括以下步骤：
步骤1：采集柔性环形零件的第一幅图像，所述图像为柔性环形零件的局部图像，转入步骤2；
结合图2，将柔性环形零件置于透明玻璃工作台上，工作台中心刻有十字线，工作台上方放置装配远心镜头的相机，下方放置远心平行背光源，远心镜头和平行背光源两者共轴设置，打开远心平行背光源，由于成像视野小于柔性环形零件外轮廓尺寸，相机只能采集到柔性环形零件的局部图像。
步骤2：根据第一幅局部图像，得到柔性环形零件的初始轮廓位置，通过Hough变换检测圆算法，获得柔性环形零件的外轮廓尺寸，转入步骤3；
结合图3，步骤3：根据步骤2中获得的柔性环形零件的外轮廓尺寸，规划柔性环形零件序列局部图像的采集路径，转入步骤4，步骤3规划采集路径具体步骤如下：
S31：建立路径规划模型：构造第一辅助圆I1和第二辅助圆I2，第一辅助圆I1和第二辅助圆I2为同心圆，均以透明玻璃工作台的十字线中心为圆心，I1的半径小于I2的半径，I1的作用是为了每一次路径规划都包含透明玻璃工作台中心的十字线，为后续图像拼接提供匹配基准；I2是相机视场中心采集时所走过的路径，点Os是柔性环形零件的圆心。柔性环形零件的外轮廓为L2，内轮廓为L1，相机采集序列图像的视场为FDi，i＝1,2,…,n；各视场的视野大小不变；
S32：在采集的第一幅图像中，第一采集视场FD1和外轮廓L2的两个边界点分别为A点和B点，确定点B的坐标(xb,yb)和AB之间的圆心角θ1；
以透明玻璃工作台上的十字线中心为原点，建立空间直角坐标，高度方向为Z轴，可得第一辅助圆I1方程为
x2+y2＝d2 (1)
d为第一辅助圆I1的半径，取值大小与柔性环形零件的大小有关，为给定的值，根据实验结果通常取5～10之间，第二辅助圆I2的方程为
x2+y2＝(r-d)2 (2)
r为相机采集视场轮廓圆的半径，与所采用的相机镜头视场的视野大小有关，柔性环形零件外轮廓L2的方程为
(x+d)2+y2＝R2 (3)
R为柔性环形零件的半径值，由Hough变换检测圆算法求得，FD1的方程为
(x+d-r)2+y2＝r2 (4)
联立公式(3)和(4)，可得点B的坐标(xb,yb)和AB之间圆心角θ1；
S33：通过改变透明玻璃工作台的位置，保证视场的视野大小不变，以B点为一个边界点，确定另一个边界点C，联立第二辅助圆I2和第二采集视场FD2，求出第二次采集时，相机的采集视场中心坐标(x2,y2)，进而求得点C的坐标(xc,yc)和BC间的圆心角θ2；
要求出点C和BC间的圆心角θ2的值，就需要知道第二采集视场FD2的方程。然而，要知道FD2的方程就要求出此时相机采集视场的中心坐标(x2,y2)，(x2,y2)满足下面两个方程，
(xb-x2)2+(yb-y2)2＝r2 (8)
x2 2+y2 2＝(r-d)2 (9)
式(8)是FD2的标准方程，联立(8)、(9)两式得，
其中，
x2和y2取值正负根据此时相机采集视场的中心在哪个象限来判断，将求得的中心坐标(x2,y2)代入式(8),联立式(3)和式(8)得点C的坐标(xc,yc)和BC间的圆心角θ2；
其中，
S34：重复执行步骤S33，经过多次采集图像，直至最后一次待确定的边界点与A点重复，获得所有采集到的图像分别对应的相机视场中心坐标，进而求得对应的边界点坐标及相邻两个边界点之间的圆心角。
通过前面所述的算法思想和公式(8)～(14)迭代的情况下，当满足θ1+θ2+…+θn>360°时，即可得到一条能覆盖完整的柔性环形零件图像的采集路径，由于图像边缘容易产生畸变，有时会出现采集未完全覆盖的情况，此时需要预留一定的安全范围圆心角(即相邻两幅图像间重合的角度)，根据实验结果得到了一个安全范围圆心角，当安全范围圆心角取5°～10°时可以获得理想的实验结果。
步骤4：采集下一幅柔性环形零件的局部图像，转入步骤5；
步骤5：根据步骤4采集的局部图像，判断是否需要修正后续图像的采集路径，需要修正时，执行步骤6，否则执行步骤4，直至完成所有局部图像的采集后，转入步骤7；
判断是否需要修正后续图像的采集路径，方法如下：通过步骤4中采集到的柔性环形零件局部图像，通过Hough变换检测圆算法，获得此时柔性环形零件的外轮廓尺寸，对比步骤2中的外轮廓尺寸，判断是否需要修正后续图像的采集路径，当两者相等时，即不需要修正后续图像的采集路径，否则就需要修正后续图像的采集路径。
步骤6：修正后续局部图像的采集路径后，返回步骤4，修正后续局部图像的采集路径方法与步骤3方法相同；
结合图4，步骤7：将采集到的所有局部图像，通过拼接算法拼接出完整的柔性环形零件图像，拼接算法步骤如下：
S71：对采集到的柔性环形零件的局部图像进行二值化，去噪处理；
S72：利用图像连通域标记方法，从采集到的柔性环形零件的局部图像中提取十字线；
S73：分别计算步骤S72中提取出的十字线的中心点坐标，方法如下：
对S72中提取的每一幅局部图像的十字线，分别计算出十字线四个端点的坐标值，然后坐标值的横纵坐标分别平均即可得到十字线中心点坐标。
S74：根据十字线的中心点坐标，拼接出完整的柔性环形零件图像，方法如下：
构造一副新的空白的拼接图像，将每一幅图像的十字线中心点和目标十字线匹配在拼接图像的中心，即可得到一幅完整的柔性环形零件图像。
所述柔性环形零件的外轮廓尺寸不超过相机视野范围的2倍。

Claims (6)

1.一种成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其特征在于，包括以下步骤：
步骤1：采集柔性环形零件的第一幅图像，所述图像为柔性环形零件的局部图像，转入步骤2；
步骤2：根据第一幅局部图像，得到柔性环形零件的初始轮廓位置，通过Hough变换检测圆算法，获得柔性环形零件的外轮廓尺寸，转入步骤3；
步骤3：根据步骤2中获得的柔性环形零件的外轮廓尺寸，规划柔性环形零件序列局部图像的采集路径，步骤如下：
S31：建立路径规划模型：构造第一辅助圆I1和第二辅助圆I2，第一辅助圆I1和第二辅助圆I2为同心圆，均以透明玻璃工作台的十字线中心为圆心，I1的半径小于I2的半径，柔性环形零件的外轮廓为L2，相机采集序列图像的视场为FDi，i＝1,2,…,n；各视场的视野大小不变；
S32：在采集的第一幅图像中，第一采集视场FD1和外轮廓L2的两个边界点分别为A点和B点，确定点B的坐标(xb,yb)和AB之间的圆心角θ1；
S33：通过改变透明玻璃工作台的位置，保证视场的视野大小不变，以B点为一个边界点，确定另一个边界点C，联立第二辅助圆I2和第二采集视场FD2，求出第二次采集时，相机的采集视场中心坐标(x2,y2)，进而求得点C的坐标(xc,yc)和BC之间的圆心角θ2；
S34：重复执行步骤S33，经过若干次采集图像，直至最后一次待确定的边界点与A点重复，获得所有采集到的图像分别对应的相机采集视场中心坐标，进而求得图像分别对应的边界点坐标及相邻两个边界点之间的圆心角；转入步骤4；
步骤4：采集下一幅柔性环形零件的局部图像，转入步骤5；
步骤5：根据步骤4采集的局部图像，判断是否需要修正后续图像的采集路径，需要修正时，执行步骤6；否则返回步骤4，直至完成所有局部图像的采集后，转入步骤7；
步骤6：修正后续局部图像的采集路径后，返回步骤4；
步骤7：将采集到的所有局部图像，通过拼接算法拼接出完整的柔性环形零件图像。
2.根据权利要求1所述的成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其特征在于：所述步骤1中，将柔性环形零件置于透明玻璃工作台上，工作台中心刻有十字线，工作台上方放置装配远心镜头的相机，下方放置远心平行背光源，远心镜头和平行背光源共光轴设置，打开远心平行背光源，相机采集到柔性环形零件的局部图像。
3.根据权利要求1所述的成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其特征在于，步骤5中，判断是否需要修正后续图像的采集路径，方法如下：通过步骤4中采集到的柔性环形零件局部图像，通过Hough变换检测圆算法，获得此时柔性环形零件的外轮廓尺寸，对比步骤2中的外轮廓尺寸，判断是否需要修正后续图像的采集路径，当两者相等时，即不需要修正后续图像的采集路径，否则就需要修正后续图像的采集路径。
4.根据权利要求1所述的成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其特征在于，步骤6中，修正后续局部图像的采集路径方法与步骤3方法相同。
5.根据权利要求1所述的成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其特征在于，步骤7中，拼接算法步骤如下：
S71：对采集到的柔性环形零件的局部图像进行二值化，去噪处理；
S72：利用图像连通域标记方法，从采集到的柔性环形零件的局部图像中提取十字线；
S73：分别计算步骤S72中提取出的十字线的中心点坐标；
S74：根据十字线的中心点坐标，拼接出完整的柔性环形零件图像。
6.根据权利要求1所述的成像视野小于柔性环形零件尺寸时的图像采集与拼接方法，其特征在于：所述柔性环形零件的外轮廓尺寸不超过相机视野范围的2倍。
CN201610154201.6A 2016-03-17 2016-03-17 成像视野小于柔性环形零件尺寸时的图像采集与拼接方法 Expired - Fee Related CN105823430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610154201.6A CN105823430B (zh) 2016-03-17 2016-03-17 成像视野小于柔性环形零件尺寸时的图像采集与拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610154201.6A CN105823430B (zh) 2016-03-17 2016-03-17 成像视野小于柔性环形零件尺寸时的图像采集与拼接方法

Publications (2)

Publication Number Publication Date
CN105823430A CN105823430A (zh) 2016-08-03
CN105823430B true CN105823430B (zh) 2018-10-12

Family

ID=56523898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610154201.6A Expired - Fee Related CN105823430B (zh) 2016-03-17 2016-03-17 成像视野小于柔性环形零件尺寸时的图像采集与拼接方法

Country Status (1)

Country Link
CN (1) CN105823430B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106498854B (zh) * 2016-11-08 2018-03-23 中铁四局集团钢结构有限公司 一种角点标尺
CN107146213B (zh) * 2017-05-08 2020-06-02 西安电子科技大学 基于缝合线的无人机航拍图像拼接方法
CN110038822A (zh) * 2019-04-20 2019-07-23 东莞中科蓝海智能视觉科技有限公司 反光圆环件的视觉检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721374A (zh) * 2012-06-04 2012-10-10 中国科学院光电技术研究所 一种基于加权最小二乘法的平面子孔径拼接方法
CN102735187A (zh) * 2012-07-05 2012-10-17 北京理工大学 一种用于环形子孔径边界拼接的搜索方法
CN102865809A (zh) * 2012-09-05 2013-01-09 中国科学院光电技术研究所 一种子孔径拼接干涉仪系统及测量光学镜片面形的方法
CN103245308A (zh) * 2013-04-18 2013-08-14 上海大学 超精密磨削大口径光学元件平面度在位检测装置及方法
CN103575233A (zh) * 2013-11-20 2014-02-12 西安工业大学 大口径大相对孔径抛物面反射镜面形误差的检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721374A (zh) * 2012-06-04 2012-10-10 中国科学院光电技术研究所 一种基于加权最小二乘法的平面子孔径拼接方法
CN102735187A (zh) * 2012-07-05 2012-10-17 北京理工大学 一种用于环形子孔径边界拼接的搜索方法
CN102865809A (zh) * 2012-09-05 2013-01-09 中国科学院光电技术研究所 一种子孔径拼接干涉仪系统及测量光学镜片面形的方法
CN103245308A (zh) * 2013-04-18 2013-08-14 上海大学 超精密磨削大口径光学元件平面度在位检测装置及方法
CN103575233A (zh) * 2013-11-20 2014-02-12 西安工业大学 大口径大相对孔径抛物面反射镜面形误差的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大尺寸工件在机视觉测量的图像拼接方法;王中任等;《工具技术》;20100131;第44卷(第1期);第95-98页 *

Also Published As

Publication number Publication date
CN105823430A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN111080627B (zh) 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN107218928B (zh) 一种复杂多管路系统检测方法
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
CN103499297B (zh) 一种基于ccd的高精度测量方法
CN103615980B (zh) 一种板件上圆孔参数的测量方法及系统
CN109612406B (zh) 一种盾构隧道拼装管片环拼装质量的随机检测方法
CN102103746B (zh) 利用正四面体求解圆环点标定摄像机内参数的方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN102376089A (zh) 一种标靶校正方法及系统
CN105823430B (zh) 成像视野小于柔性环形零件尺寸时的图像采集与拼接方法
CN105783786A (zh) 一种基于结构光视觉的零件倒角测量方法与装置
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN103903260A (zh) 一种摄像机内参数快速标定的靶标方法
CN102243103A (zh) 一种物体颜色及三维轮廓的快速测量方法
TW201415010A (zh) 檢查裝置、檢查方法及檢查程式
CN101178811A (zh) 一种三步法结构光直线光条的图像特征提取方法
CN111707187A (zh) 一种大型零件的测量方法及系统
US9111343B2 (en) Microscope slide coordinate system registration
CN114331924A (zh) 大工件多相机视觉测量方法
CN116402792A (zh) 一种基于三维点云的空间孔位对接方法
CN115540775A (zh) 一种ccd单相机的3d视频引伸计
CN108627103A (zh) 一种零部件高度尺寸的2d激光测量方法
CN115615350A (zh) 检测方法及其系统
CN113888641A (zh) 一种基于机器视觉和深度学习的立木胸径测量方法
CN115239801B (zh) 一种对象定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20200317

CF01 Termination of patent right due to non-payment of annual fee