CN106595596B - 一种铁路轨道轨向检测的摄影测量方法 - Google Patents

一种铁路轨道轨向检测的摄影测量方法 Download PDF

Info

Publication number
CN106595596B
CN106595596B CN201611156166.8A CN201611156166A CN106595596B CN 106595596 B CN106595596 B CN 106595596B CN 201611156166 A CN201611156166 A CN 201611156166A CN 106595596 B CN106595596 B CN 106595596B
Authority
CN
China
Prior art keywords
rail
image
profile
track
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611156166.8A
Other languages
English (en)
Other versions
CN106595596A (zh
Inventor
余明杨
朱齐果
韦森
黄小雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201611156166.8A priority Critical patent/CN106595596B/zh
Publication of CN106595596A publication Critical patent/CN106595596A/zh
Application granted granted Critical
Publication of CN106595596B publication Critical patent/CN106595596B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种铁路轨道轨向检测的摄影测量方法。轨检小车向前移动过程中,轨面相机每隔一定距离采集存在固定几何失真的单轨图像,对图像进行几何矫正、匹配、拼接,从而得到一幅二维长轨图像,对长轨图像进行边缘检测,可初步获取长轨的内边缘。线结构光源从垂直钢轨纵轴方向发射出激光平面,激光平面在钢轨表面形成一条能够反映钢轨轮廓特征的光条曲线,轨侧相机每隔一段距离拍摄该光条曲线。对轨侧相机获取的图像进行光条细化、钢轨轮廓还原以及钢轨轮廓匹配,计算出钢轨轮廓的肥边值,根据计算出来的肥边值对相应位置的长轨内边缘进行补偿,从而得到轨面往下16mm处的长轨内边缘。根据该长轨内边缘,建立二维坐标,从而得到边缘上每一个点的坐标,即可计算出铁路轨道各处任意弦长的轨向。

Description

一种铁路轨道轨向检测的摄影测量方法
技术领域
本发明涉及一种铁路轨道轨向检测的摄影测量方法。
背景技术
随着我国铁路交通事业的快速发展,普通铁路提速和高速铁路建设已经成为提高铁路运送能力的重要手段。其中,高速铁路以其快捷舒服、运载量大、低碳环保的优点成为了我国交通运输的重要组成部分。列车运行速度的提高,对轨道平顺性提出了更为严格的要求。高速列车在长期运行过程中,由于轮轨反复作用以及沉降等众多因素影响,铁路轨道易发生几何变形,如果轨道平顺性不达标,将危害轨道和机车车辆部件,降低轨道及机车车辆的使用年限,甚至危及行车安全。因此,对轨道的平顺性进行精确、快速的检测具有重要意义。轨向是轨道几何参数中一个重要的技术指标,反映轨道直线平直性和曲线圆顺性,对行车的安全和平稳具有重要意义。
目前,轨检仪是测量轨道静态几何状态参数的主要设备,具有精度高、自动化程度高等优点,为我国高速铁路建设期间的轨道铺设、长轨精调、轨道验收以及运营期间的轨道检测等提供了重要的技术支撑。但是,它在检测点的分布密度、测量效率等方面都有待进一步改善。
发明内容
为了解决轨检仪在检测点的分布密度、测量效率上的不足,本发明提供一种效率高、精度高,并可获取任意弦长轨向的铁路轨道轨向检测的摄影测量方法。
为了实现上述技术目的,本发明的技术方案是,
一种铁路轨道轨向检测的摄影测量方法,包括以下步骤:
步骤1:设置沿铁路轨道同时运动的轨面相机、轨侧相机和线结构光源,所述的轨面相机从轨道上方拍摄轨道上表面,所述的线结构光源朝向轨道照射并形成用于反应钢轨轮廓特征的光条曲线,所述的轨侧相机朝向光条曲线拍摄;
步骤2:在运动过程中,轨面相机和轨侧相机分别每隔一定距离采集图像;
步骤3:对轨面相机所拍摄的图像进行几何矫正,然后对相邻的每两幅图像进行匹配、拼接,得到一幅完整的二维长轨图像,再对长轨图像进行边缘检测,以初步获取长轨的内边缘;
步骤4:对轨侧相机获取的图像进行光条细化、钢轨轮廓还原以及钢轨轮廓匹配,并计算出钢轨轮廓轨面下16mm处的肥边值;
步骤5:根据步骤4得到的肥边值,来对步骤3中得到的长轨内边缘进行移动相应的距离,以得到最终的长轨内边缘,对最终的长轨内边缘建立二维坐标,从而得到边缘上每一个点的坐标,以计算铁路轨道各处任意弦长的轨向。
所述的方法,所述的步骤1中,轨面相机与轨道保持预定的高度与角度进行拍摄。
所述的方法,所述的步骤1中,所述的线结构光源为激光平面发射装置,且垂直于轨道内侧进行照射。
所述的方法,所述的步骤2中,轨面相机每次间隔一定距离后进行图像采集,且相邻两次采集的前后两幅图像的重叠部分为40%-60%,轨侧相机每次间隔1米采集图像。
所述的方法,所述的步骤3中,几何矫正的步骤包括:
步骤一,对图像进行直方图均值化的预处理,使得图像得以增强;
步骤二,采用canny算子进行边缘检测,并清除毛刺;
步骤三,采用radon变换提取畸变轮廓;
步骤四,在图像轮廓上选取四个均匀分布的连接点作为输入点(x1,y1),(x2,y2),(x3,y3),(x4,y4),以图像下方两点为基准,计算出作为一个矩形的四个顶点的四个输出点(x′1,y′1),(x′2,y′2),(x′3,y′3),(x′4,y′4);
步骤五,构造校正矩阵h=(h11,h12,h13,h21,h22,h23,h31,h32,h33)T
根据投影关系和坐标转换公式,得到:
代入四个输入点和四个输出点即可计算出校正矩阵H,通过校正矩阵H对图像进行校正。
所述的方法,所述的步骤3中,对相邻的每两幅图像进行匹配、拼接的步骤包括:
步骤1),采用ORB算法对图像进行特征点提取;
步骤2),通过检验BRIEF描述向量的相似程度完成特征点的匹配;
步骤3),利用正确匹配点对的距离相对固定对伪匹配点对进行排除;
步骤4),根据仿射变换的性质公式建立仿射变换模型:
其中,(xi,yj)为基准特征点,(xi′,y′j)为配准特征点,k为比例放缩因子,为δ旋转角度,x0,y0为平移量,代入至少三对特征点对,即可计算出k,δ,x0,y0,从而可以实现两幅图像的拼接;
步骤5),取一平滑因子α,其中0≤α≤1,重叠区域点的像素值f=αf1+(1-α)f2其中,f1为该点在第一幅图中的像素值,f2为该点在第二幅图中的像素值,消除拼接所带来的接缝。
所述的方法,所述的步骤4中,进行光条细化、钢轨轮廓还原以及钢轨轮廓匹配,并计算出钢轨轮廓的肥边值的步骤包括:
步骤(一),对图像进行预处理,采用自适应中值滤波对图像进行去噪,采用直方图匹配法对图像进行增强;
步骤(二),光条细化,首先采用方向模板法提取光条中心线,然后通过基于梯度的流线检测方法计算光条法线方向,最后采用重心法获取亚像素光条中心;
步骤(三),通过膨胀腐蚀的方法消除断点,从而实现轮廓还原;
步骤(四),采用归一化方法对实测轮廓曲线和标准轮廓曲线进行模板匹配;
步骤(五),通过轮廓匹配,使实测轮廓和标准轮廓处于同一个图像坐标系中,根据标准轮廓确定出实测轮廓中肥边测量点的位置,根据该测量点的坐标值计算出肥边值。
所述的方法,所述的步骤5中,得到最终的长轨内边缘的步骤为,根据步骤4得到的肥边值M,将步骤3中得到的长轨内边缘朝着轨道外侧移动相应的距离M。
本发明的技术效果在于采用了摄像头光轴与地面呈一定夹角的拍摄方法,然后对图像进行失真校正,这样得到的图像视野范围广,拼接次数少,处理量小,误差小的同时也提高了运算速度,具有效率高、精度高,并可获取任意弦长轨向的特点。
下面结合附图对本发明作进一步说明。
附图说明
图1为本发明摄影测量方法的位置关系图;
图2为本发明轨面相机、轨侧相机和线结构光源的位置关系图;
图3为本发明图像校正时的输入点及出点说明图;
其中,1为轨检小车、2为铁路轨道、3为轨面相机、4为光电编码器、5为线结构光源、6为轨侧相机、7为光条曲线。
具体实施方式
参见图1,测量时,轨检小车1置于铁路轨道2上,轨面相机3置于轨检小车前端并与轨面呈固定角度θ(根据相机距轨面的高度不同,θ一般选取在50度至80度之间,以保证轨面相机所获取的钢轨图像保证在5至8米范围内),光电编码器4发射的脉冲信号控制轨面相机3和轨侧相机6进行图像采集,使得采集的图像相对应一个确切的实际位置。轨面相机3获取存在固定几何失真的单轨图像(由于相机与钢轨面的高度及角度θ固定,相机的参数设置也固定,故单轨图像的失真也是固定的)。随着轨检小车1不断向前移动,轨面相机3获取的图像不断矫正、匹配、拼接,从而得到一幅二维长轨图像,采用canny算子对长轨图像进行边缘检测,清除毛刺,可初步获取长轨的内边缘。
其中,采用连接点法对图像进行矫正,图像矫正步骤如下:
第一步,对图像进行预处理,直方图均值化使得图像得以增强;
第二步,采用canny算子对图像进行边缘检测,并清除毛刺;
第三步,采用radon变换提取畸变轮廓;
第四步,如图三,在图像轮廓上选取四个连接点abcd作为输入点,连接点均匀分布在图像上,以图像下方两点ab为基准,计算出四个输出点ABCD,使得输出点ABCD为一矩形四个顶点;
第五步,构造校正矩阵h=(h11,h12,h13,h21,h22,h23,h31,h32,h33)T,
根据投影关系和坐标转换公式,可得如下公式:
带入四个输入点和四个输出点即可计算出校正矩阵H,即可对图像进行校正。
相邻校正后图像的匹配拼接步骤:
第一步,采用ORB算法对图像进行特征点提取;
第二步,通过检验BRIEF描述向量的相似程度完成特征点的匹配;
第三步,利用正确匹配点对的距离相对固定对伪匹配点对进行排除;
第四步,根据仿射变换的性质公式建立仿射变换模型:
其中,(xi,yj)为基准特征点,(xi′,y′j)为配准特征点,k为比例放缩因子,为δ旋转角度,x0,y0为平移量。代入至少三对特征点对,即可计算出k,δ,x0,y0,从而可以实现两幅图像的拼接;
第五步,取一平滑因子α(0≤α≤1),重叠区域点的像素值f=αf1+(1-α)f2其中,f1为该点在第一幅图中的像素值,f2为该点在第二幅图中的像素值。通过此方法,可消除拼接所带来的接缝。
参见图2,轨侧相机6和线结构光源5位于轨检小车1内部,线结构光源5从垂直钢轨纵轴方向发射出激光平面,激光平面在钢轨表面形成一条能够反映钢轨轮廓特征的光条曲线7,轨侧相机6与激光平面成固定角度β(30度至60度范围内)拍摄该光条曲线。对轨侧相机6获取的图像进行光条细化、钢轨轮廓还原以及钢轨轮廓匹配,从而计算出钢轨轮廓的肥边值,根据计算出来的肥边值对相应位置的长轨内边缘进行调整,以避免肥边对轨向检测的影响,假设检测的肥边值为M,则将检测的内边缘朝着轨道外侧移动M距离,从而得到轨面往下16mm处的长轨内边缘。根据该长轨内边缘,建立二维坐标,从而得到边缘上每一个点的坐标,即可计算出铁路轨道各处任意弦长的轨向。
具体步骤如下:
第一步,对图像进行预处理。采用自适应中值滤波对图像进行去噪,采用直方图匹配法对图像进行增强;
第二步,光条细化。首先采用方向模板法提取光条中心线,然后通过基于梯度的流线检测方法计算光条法线方向,最后采用重心法获取亚像素光条中心;
第三步,通过膨胀腐蚀的方法消除断点,从而实现轮廓还原;
第四步,采用归一化方法对实测轮廓曲线和标准轮廓曲线进行模板匹配;
第五步,通过轮廓匹配,使实测轮廓和标准轮廓处于同一个图像坐标系中,根据标准轮廓确定出实测轮廓中肥边值测量点的位置(轨面下16mm处),根据该测量点的坐标值计算肥边值;
第六步,根据计算出来的肥边值对相应位置的长轨内边缘进行调整,从而得到轨面往下16mm处的长轨内边缘;
第七步,根据该长轨内边缘,建立二维坐标,从而得到边缘上每一个点的坐标,即可计算出铁路轨道各处任意弦长的轨向。

Claims (8)

1.一种铁路轨道轨向检测的摄影测量方法,其特征在于,包括以下步骤:
步骤1:设置沿铁路轨道同时运动的轨面相机、轨侧相机和线结构光源,所述的轨面相机从轨道上方拍摄轨道上表面,所述的线结构光源朝向轨道照射并形成用于反应钢轨轮廓特征的光条曲线,所述的轨侧相机朝向光条曲线拍摄;
步骤2:在运动过程中,轨面相机和轨侧相机分别每隔一定距离采集图像;
步骤3:对轨面相机所拍摄的图像进行几何矫正,然后对相邻的每两幅图像进行匹配、拼接,得到一幅完整的二维长轨图像,再对长轨图像进行边缘检测,以初步获取长轨的内边缘;
步骤4:对轨侧相机获取的图像进行光条细化、钢轨轮廓还原以及钢轨轮廓匹配,并计算出钢轨轮廓轨面下16mm处的肥边值;
步骤5:根据步骤4得到的肥边值,来对步骤3中得到的长轨内边缘进行移动相应的距离,以得到最终的长轨内边缘,对最终的长轨内边缘建立二维坐标,从而得到边缘上每一个点的坐标,以计算铁路轨道各处任意弦长的轨向。
2.根据权利要求1所述的方法,其特征在于,所述的步骤1中,轨面相机与轨道保持预定的高度与角度进行拍摄。
3.根据权利要求1所述的方法,其特征在于,所述的步骤1中,所述的线结构光源为激光平面发射装置,且垂直于轨道内侧进行照射。
4.根据权利要求1所述的方法,其特征在于,所述的步骤2中,轨面相机每次间隔一定距离后进行图像采集,且相邻两次采集的前后两幅图像的重叠部分为40%-60%,轨侧相机每次间隔1米采集图像。
5.根据权利要求1所述的方法,其特征在于,所述的步骤3中,几何矫正的步骤包括:
步骤一,对图像进行直方图均值化的预处理,使得图像得以增强;
步骤二,采用canny算子进行边缘检测,并清除毛刺;
步骤三,采用radon变换提取畸变轮廓;
步骤四,在图像轮廓上选取四个均匀分布的连接点作为输入点(x1,y1),(x2,y2),(x3,y3),(x4,y4),以图像下方两点为基准,计算出作为一个矩形的四个顶点的四个输出点(x′1,y′1),(x′2,y′2),(x′3,y′3),(x′4,y′4);
步骤五,构造校正矩阵h=(h11,h12,h13,h21,h22,h23,h31,h32,h33)T
根据投影关系和坐标转换公式,得到:
代入四个输入点和四个输出点即可计算出校正矩阵H,通过校正矩阵H对图像进行校正。
6.根据权利要求1所述的方法,其特征在于,所述的步骤3中,对相邻的每两幅图像进行匹配、拼接的步骤包括:
步骤1),采用ORB算法对图像进行特征点提取;
步骤2),通过检验BRIEF描述向量的相似程度完成特征点的匹配;
步骤3),利用正确匹配点对的距离相对固定对伪匹配点对进行排除;
步骤4),根据仿射变换的性质公式建立仿射变换模型:
其中,(xi,yj)为基准特征点,(x′i,y′j)为配准特征点,k为比例放缩因子,δ为旋转角度,x0,y0为平移量,代入至少三对特征点对,即可计算出k,δ,x0,y0,从而可以实现两幅图像的拼接;
步骤5),取一平滑因子α,其中0≤α≤1,重叠区域点的像素值f=αf1+(1-α)f2,其中,f1为该点在第一幅图中的像素值,f2为该点在第二幅图中的像素值,消除拼接所带来的接缝。
7.根据权利要求1所述的方法,其特征在于,所述的步骤4中,进行光条细化、钢轨轮廓还原以及钢轨轮廓匹配,并计算出钢轨轮廓的肥边值的步骤包括:
步骤(一),对图像进行预处理,采用自适应中值滤波对图像进行去噪,采用直方图匹配法对图像进行增强;
步骤(二),光条细化,首先采用方向模板法提取光条中心线,然后通过基于梯度的流线检测方法计算光条法线方向,最后采用重心法获取亚像素光条中心;
步骤(三),通过膨胀腐蚀的方法消除断点,从而实现轮廓还原;
步骤(四),采用归一化方法对实测轮廓曲线和标准轮廓曲线进行模板匹配;
步骤(五),通过轮廓匹配,使实测轮廓和标准轮廓处于同一个图像坐标系中,根据标准轮廓确定出实测轮廓中肥边测量点的位置,根据该测量点的坐标值计算出肥边值。
8.根据权利要求1所述的方法,其特征在于,所述的步骤5中,得到最终的长轨内边缘的步骤为,根据步骤4得到的肥边值M,将步骤3中得到的长轨内边缘朝着轨道外侧移动相应的距离M。
CN201611156166.8A 2016-12-14 2016-12-14 一种铁路轨道轨向检测的摄影测量方法 Expired - Fee Related CN106595596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611156166.8A CN106595596B (zh) 2016-12-14 2016-12-14 一种铁路轨道轨向检测的摄影测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611156166.8A CN106595596B (zh) 2016-12-14 2016-12-14 一种铁路轨道轨向检测的摄影测量方法

Publications (2)

Publication Number Publication Date
CN106595596A CN106595596A (zh) 2017-04-26
CN106595596B true CN106595596B (zh) 2019-01-01

Family

ID=58801319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611156166.8A Expired - Fee Related CN106595596B (zh) 2016-12-14 2016-12-14 一种铁路轨道轨向检测的摄影测量方法

Country Status (1)

Country Link
CN (1) CN106595596B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521030A (zh) * 2018-10-12 2019-03-26 成都精工华耀科技有限公司 一种轨道可视化巡检rgbd成像系统
CN112857329B (zh) * 2021-02-02 2022-08-30 中国铁路设计集团有限公司 铁路既有线岔心测量方法、系统、存储介质及电子设备
CN113446946B (zh) * 2021-06-24 2023-02-17 中国铁道科学研究院集团有限公司 轨道几何检测数据的动态补偿方法及装置
CN114140426B (zh) * 2021-11-29 2023-05-26 广州海谷电子科技有限公司 一种湿度传感器陶瓷基片印刷碳线图像处理倾斜矫正算法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3261865B2 (ja) * 1994-06-08 2002-03-04 石川島播磨重工業株式会社 鉄道軌道の安全確認方法
CN101264766B (zh) * 2008-05-15 2010-04-07 中国人民解放军国防科学技术大学 替代弦线法的轨道几何参数摄像测量装置及方法
CN101306691B (zh) * 2008-07-03 2011-08-10 株洲南车时代电气股份有限公司 一种轨道曲线参数测量装置及方法
US8331623B2 (en) * 2008-12-23 2012-12-11 National Chiao Tung University Method for tracking and processing image
CN102030016A (zh) * 2010-11-03 2011-04-27 西南交通大学 基于结构光视觉的轨道不平顺状态检测方法
US8485035B2 (en) * 2011-08-22 2013-07-16 Herzog Services, Inc. Method of detecting defects
CN202368605U (zh) * 2011-10-19 2012-08-08 北京鼎汉检测技术有限公司 一种动态检测铁路轨道左右钢轨轨向的检测装置
CN103115581B (zh) * 2013-01-23 2015-11-25 爱佩仪中测(成都)精密仪器有限公司 多功能轨道测量系统及方法
CN104851088B (zh) * 2015-04-27 2018-03-06 长安大学 一种高铁检测系统的线阵相机标定设备及标定方法

Also Published As

Publication number Publication date
CN106595596A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106595596B (zh) 一种铁路轨道轨向检测的摄影测量方法
CN108248634B (zh) 道岔及轨道全轮廓磨损视觉测量仪及其测量方法
CN102901457B (zh) 一种列车车轮直径动态测量方法及系统
CN108778889B (zh) 用于检测轨道旁的固定点的方法和测量系统
CN101532827B (zh) 一种激光视觉钢轨磨耗测量的纠偏方法
CN108457143B (zh) 一种轨道线路坐标测量系统
CN105292181B (zh) 一种基于两种传感器的轮对尺寸在线检测方法及装置
CN101314932B (zh) 一种轨道几何参数的摄像测量方法
CN109017867A (zh) 钢轨波磨动态测量方法
CN104457562A (zh) 一种基于面结构光的承载鞍在线检测系统
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN108725511B (zh) 钢轨波磨弦测点的实时位置修正方法
CN110803200B (zh) 一种基于cpiii控制点的轨道里程定位方法及装置
CN108534765B (zh) 一种轨道线路坐标测量方法
CN104973092A (zh) 一种基于里程和图像测量的铁轨路基沉降测量方法
JP5763974B2 (ja) ふく進測定装置、ふく進測定システム及びふく進測定方法
JP2019074428A (ja) 鉄道における建築限界の測定装置及び測定方法
CN105261025B (zh) 一种高铁检测系统的线阵相机快速高精度标定装置
CN110926417B (zh) 基于机器视觉的车载铁路隧道检测系统
CN104228874A (zh) 轨道车辆外部轮廓非接触式检测系统
CN104442917A (zh) 轨道检测方法
CN103552570A (zh) 一种铁路轨道平顺性检测的车载近景摄影测量方法
CN108020162B (zh) 基于二维激光扫描与三角原理的轨距仪及其使用方法
CN205991784U (zh) 一种基于工控机控制的铁路隧道限界动态检测系统
CN109238149B (zh) 车体姿态检测装置和接触线动态偏移量检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190101

Termination date: 20201214