CN113011315B - 一种基于超快速结构感知深度网络的地铁轨道识别方法 - Google Patents

一种基于超快速结构感知深度网络的地铁轨道识别方法 Download PDF

Info

Publication number
CN113011315B
CN113011315B CN202110280135.8A CN202110280135A CN113011315B CN 113011315 B CN113011315 B CN 113011315B CN 202110280135 A CN202110280135 A CN 202110280135A CN 113011315 B CN113011315 B CN 113011315B
Authority
CN
China
Prior art keywords
track
orbit
network
ultra
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110280135.8A
Other languages
English (en)
Other versions
CN113011315A (zh
Inventor
董观就
张艳青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110280135.8A priority Critical patent/CN113011315B/zh
Publication of CN113011315A publication Critical patent/CN113011315A/zh
Application granted granted Critical
Publication of CN113011315B publication Critical patent/CN113011315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超快速结构感知深度网络的地铁轨道识别方法,包括摄像机拍摄地铁轨道视频,并逐帧提取构成地铁轨道数据集;对地铁轨道数据集进行类别划分和轨道线标注;将地铁轨道图像数据集逐张送入超快速结构感知深度网络轨道识别模型中得到预测结果,所述超快速感知深度网络轨道识别明星包括特征提取模块、辅助模块及组分类模块。本方法不仅可以在低时延条件下检测并识别出地铁轨道所在位置,还能有效应对因恶劣光照条件下难以提取检测物体特征而导致无法识别物体的问题。

Description

一种基于超快速结构感知深度网络的地铁轨道识别方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于超快速结构感知深度网络的地铁轨道识别方法。
背景技术
现有的地铁轨道检测识别模型一部分基于传统的图像处理算法提取特征点从而得到轨道轮廓,可能因为图像模糊或待检测物体边缘光滑导致特征提取无法起到作用,且实时性不高;另一部分使用到的算子的参数和阈值需要根据手工设定,鲁棒性较差。
发明内容
为了克服现有技术存在的缺点与不足,本发明提供一种基于超快速结构感知深度网络的地铁轨道识别方法。
本发明采用超快速结构感知深度网络轨道识别模型,解决了现有的地铁轨道检测识别方法因为图像质量或者待测物体边缘光滑等原因导致的特征提取失败的问题,可达到实时性检测识别效果,鲁棒性较强。
本发明采用如下技术方案:
一种基于超快速结构感知深度网络的地铁轨道识别方法,包括:
摄像机拍摄地铁轨道视频,并逐帧提取构成地铁轨道数据集;
对地铁轨道数据集进行类别划分和轨道线标注;
将地铁轨道图像数据集逐张送入超快速结构感知深度网络轨道识别模型中,所述超快速感知深度网络轨道识别明星包括特征提取模块、辅助模块及组分类模块,具体过程为:
特征提取模块对地铁轨道图像数据集进行特征提取;
当超快速结构感知深度网络轨道识别模型处于训练阶段,则提取特征输入辅助模块,进行语义分割输出轨道特征向量;
当超快速结构感知深度网络轨道识别模型处于非训练阶段,则提取特征输入组分类模块,对提取特征进行轨道线检测与识别,得到预测轨道位置。
进一步,使用具备结构感知的损失函数训练超快速结构感知深度网络轨道识别模型。
进一步,损失函数包括两部分,分别为L1范数和softmax函数。
进一步,所述组分类模块采用基于行锚的行选择算法对特征提取模块的特征进行分类。
进一步,所述特征提取模块以Resnet-34网络为基础,共含34层,包括高层网络及低层网络。
进一步,每一层操作包括3×3或7×7且步长为1或2的卷积操作。
进一步,使用恒等映射直接把低层网络特征输入高层网络使用。
进一步,层与层之间的通道数不相同。
进一步,所述辅助模块基于DeepLab模型。
本发明的有益效果:
本发明通过深度学习网络模型,针对地铁轨道所处的特殊场景,提出了适用于检测和识别地铁轨道特征的行选择算法和具有结构感知的损失函数。本申请提案不仅可以在低时延条件下检测并识别出地铁轨道所在位置,还能有效应对因恶劣光照条件下难以提取检测物体特征而导致无法识别物体的问题。
附图说明
图1是本发明的工作流程图;
图2是本发明超快速结构感知深度网络轨道识别模型的结构示意图;
图3是本发明的预测结果与基准值进行比较示意图。
具体实施方式
下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例
如图1所示,一种基于超快速结构感知深度网络的地铁轨道识别方法,用于辅助列车自动驾驶系统,通过实时检测和识别地铁轨道位置,为驾驶员提供列车行驶环境反馈,提升驾驶安全性。
其硬件装置部分包括数据采集模块,用于采集地铁图像数据,构成地铁轨道数据集。
类别划分及标注模块,用于对数据集内的图像进行划分及标注。
识别模块,用于训练及识别图片中轨道的位置。
具体步骤包括:
第一步,将分辨率为1304*976的高清摄像头安装于地铁列车头挡风玻璃内侧,拍摄地铁正常运行时前方的路面轨道情况,使用工具AutoStakkert将上述视频逐帧导出,组成地铁轨道数据集。
第二步,对地铁轨道数据集进行类别划分和轨道线标注,类别划分标准为地铁列车车头视野之内可行驶的轨道书,分别为单轨道、双轨道、三轨道和多轨道类型,然后对划分后的轨道进行标注。标注可采用人工标注或自动识别标注。
如图2所示,第三步,将地铁轨道图像数据集逐张送入超快速结构感知深度网络轨道识别模型中,所述超快速感知深度网络轨道识别明星包括特征提取模块、辅助模块及组分类模块,具体过程为:
特征提取模块对地铁轨道图像数据集进行特征提取,具体是采用航选择算法和特征聚集算法对输入图片进行特征提取。
当超快速结构感知深度网络轨道识别模型处于训练阶段,则提取特征输入辅助模块,进行语义分割输出轨道特征向量;
当超快速结构感知深度网络轨道识别模型处于非训练阶段,则提取特征输入组分类模块,对提取特征进行轨道线检测与识别,得到预测轨道位置。
所述特征提取模块以Resnet-34网络为基础,共含34层,每层操作主要为卷积核尺寸为3×3或7×7且步长为1或2的卷积操作,层与层之间的通道数不相等。
使用恒等映射直接把低层网络特征传输至高层网络中使用,低层网络负责提取图像中的低维信息,如轨道线纹理,高层网络负责提取图像中的高维信息,如轨道线线段。
高层网络和低层网络的区分提取的特征距离图像输入近时就是低层,距离预测输出越近时就是高层;无论层与层之间通道数是否相等,低层特征都会往后映射,逐渐变成高层特征。
所述辅助模块是基于DeepLab模型对来自于特征提取模块的特征进行语义分割输出轨道特征向量,也就是将图像中的轨道特征进行提取。
所述组分类模块是采用基于行锚的行选择算法对特征提取模块的特征进行分类。
第四步,使用具备结构感知的损失函数来指导整个模型学习具有强先验知识结构的特征。其损失函数由两部分组成,分别为L1范数和softmax函数。
第五步,输入一张含有轨道元素的图片,若模型处于非训练阶段则会根据已学习的特征对其输入进行轨道线检测与识别,最后给出轨道预测所在位置。
如图3所述,第一行为数据集中图片轨道人工标注结果,第二行为本发明预测结果,相比之下,采用本方法预测结果准确。
本方法基于全图像特征的行选择算法,有效利用图像中各个部分的位置信息,从而使得模型拥有更加广阔的视野,可有效解决如遮挡等无视觉线索问题;
超快速结构感知深度网络基于同时利用全局特征和局部特征的特征聚集算法。模型在训练阶段借助以交叉熵为基础的分割任务辅助训练,有效利用本轨道和相邻轨道的多尺度特征,使得所提取特征更具鲁棒性;
超快速结构感知深度网络使用具备结构感知的损失函数,分别通过限制相邻分类向量分布约束轨道连续性以及二阶差分方程约束轨道形状。“限制相邻分类向量分布约束轨道连续性”和“二阶差分方程约束轨道形状”都主要是从其使用的函数所得出的结论。其中,前者的函数为
Figure BDA0002978482300000041
通过L1范数约束使得两个变量Pi,j,:和Pi,j+1,:的值尽可能相等,使得其所代表的相邻分类向量相似从而约束轨道连续性。后者的函数为
Figure BDA0002978482300000042
通过对同一条轨道不同行锚间的位置计算L1范数从而约束其轨道形状。
低时延是依靠计算机已经训练完毕的网络模型输出每帧预测轨道图像所需要的时间,本方法约为70豪秒输出一帧预测图像。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (1)

1.一种基于超快速结构感知深度网络的地铁轨道识别方法,其特征在于,包括:
摄像机拍摄地铁轨道视频,并逐帧提取构成地铁轨道数据集;
对地铁轨道数据集进行类别划分和轨道线标注;
将地铁轨道图像数据集逐张送入超快速结构感知深度网络轨道识别模型中,所述超快速结构 感知深度网络轨道识别模型 包括特征提取模块、辅助模块及组分类模块;
所述特征提取模块以Resnet-34网络为基础,共含34层,每层操作是 卷积核尺寸为3×3或7×7,且步长为1或2的卷积操作,层与层之间的通道数不相等,包括高层网络和低层网络;
使用恒等映射把低层网络特征传输至高层网络中使用,低层网络负责提取图像中的低维信息,所述高层网络负责提取图像中的高维信息;
所述辅助模块是基于DeepLab模型对来自于特征提取模块的特征进行语义分割输出轨道特征向量,也就是将图像中的轨道特征进行提取;
所述组分类模块是采用基于行锚的行选择算法对特征提取模块的特征进行分类;
所述超快速结构感知深度网络同时利用全局特征和局部特征的特征聚集算法,在训练阶段借助以交叉熵为基础进行分割任务辅助训练;
具体过程为:
特征提取模块对地铁轨道图像数据集进行特征提取;
当超快速结构感知深度网络轨道识别模型处于训练阶段,则提取特征输入辅助模块,进行语义分割输出轨道特征向量;
当超快速结构感知深度网络轨道识别模型处于非训练阶段,则提取特征输入组分类模块,对提取特征进行轨道线检测与识别,得到预测轨道位置;
使用具备结构感知的损失函数训练超快速结构感知深度网络轨道识别模型;
损失函数包括两部分,分别为L1范数和softmax函数;
超快速结构感知深度网络使用具备结构感知的损失函数,分别通过限制相邻分类向量分布约束轨道连续性以及二阶差分方程约束轨道形状,“限制相邻分类向量分布约束轨道连续性”和“二阶差分方程约束轨道形状”都主要是从其使用的函数而获得相应的结论,
其中,前者的函数为:
Figure DEST_PATH_IMAGE001
通过L1范数约束使得两个变量P i,jP i,j+1的值尽可能相等,使得两个变量所代表的相邻分类向量相似从而约束轨道连续性,后者的函数为
Figure DEST_PATH_IMAGE002
通过对同一条轨道不同行锚间的位置计算L1范数从而约束轨道形状。
CN202110280135.8A 2021-03-16 2021-03-16 一种基于超快速结构感知深度网络的地铁轨道识别方法 Active CN113011315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110280135.8A CN113011315B (zh) 2021-03-16 2021-03-16 一种基于超快速结构感知深度网络的地铁轨道识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110280135.8A CN113011315B (zh) 2021-03-16 2021-03-16 一种基于超快速结构感知深度网络的地铁轨道识别方法

Publications (2)

Publication Number Publication Date
CN113011315A CN113011315A (zh) 2021-06-22
CN113011315B true CN113011315B (zh) 2022-12-16

Family

ID=76408040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110280135.8A Active CN113011315B (zh) 2021-03-16 2021-03-16 一种基于超快速结构感知深度网络的地铁轨道识别方法

Country Status (1)

Country Link
CN (1) CN113011315B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652305A (zh) * 2016-01-08 2016-06-08 深圳大学 一种动态环境下轨道检测平台的三维定位定姿方法及系统
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108805145A (zh) * 2018-06-01 2018-11-13 中铁局集团有限公司 一种地铁施工轨道车信号灯及环境亮度检测装置
CN208855647U (zh) * 2018-08-31 2019-05-14 华南理工大学 一种地铁轨道区间内异物智能检测装置
CN110047070A (zh) * 2019-04-22 2019-07-23 山东师范大学 一种轨道磨损程度的识别方法及系统
CN110781896A (zh) * 2019-10-17 2020-02-11 暨南大学 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7761400B2 (en) * 2005-07-22 2010-07-20 John Reimer Identifying events
US8170372B2 (en) * 2010-08-06 2012-05-01 Kennedy Michael B System and method to find the precise location of objects of interest in digital images
CN102663352B (zh) * 2012-03-23 2014-07-30 华南理工大学 一种轨道识别方法
US9070020B2 (en) * 2012-08-21 2015-06-30 International Business Machines Corporation Determination of train presence and motion state in railway environments
EP3048559A1 (en) * 2015-01-21 2016-07-27 RindInvest AB Method and system for detecting a rail track
US10007977B2 (en) * 2015-05-11 2018-06-26 Netflix, Inc. Techniques for predicting perceptual video quality
US9953217B2 (en) * 2015-11-30 2018-04-24 International Business Machines Corporation System and method for pose-aware feature learning
CN109948690A (zh) * 2019-03-14 2019-06-28 西南交通大学 一种基于深度学习和结构信息的高铁场景感知方法
CN110254468B (zh) * 2019-06-20 2021-12-03 吉林大学 一种轨道表面缺陷智能在线检测装置及检测方法
CN110807439B (zh) * 2019-11-12 2022-11-25 银河水滴科技(北京)有限公司 检测障碍物的方法及装置
CN111738089A (zh) * 2020-05-26 2020-10-02 科罗玛特自动化科技(苏州)有限公司 一种地铁巡检agv故障检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652305A (zh) * 2016-01-08 2016-06-08 深圳大学 一种动态环境下轨道检测平台的三维定位定姿方法及系统
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108805145A (zh) * 2018-06-01 2018-11-13 中铁局集团有限公司 一种地铁施工轨道车信号灯及环境亮度检测装置
CN208855647U (zh) * 2018-08-31 2019-05-14 华南理工大学 一种地铁轨道区间内异物智能检测装置
CN110047070A (zh) * 2019-04-22 2019-07-23 山东师范大学 一种轨道磨损程度的识别方法及系统
CN110781896A (zh) * 2019-10-17 2020-02-11 暨南大学 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法

Also Published As

Publication number Publication date
CN113011315A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
Dehghan et al. View independent vehicle make, model and color recognition using convolutional neural network
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN102289686B (zh) 一种基于迁移学习的运动目标分类识别方法
CN102509091B (zh) 一种飞机尾号识别方法
CN101673338B (zh) 基于多角度投影的模糊车牌识别方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN105373794A (zh) 一种车牌识别方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN105741324A (zh) 移动平台上的运动目标检测识别与跟踪方法
CN107977645B (zh) 一种视频新闻海报图的生成方法及装置
CN104978567A (zh) 基于场景分类的车辆检测方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN101470802B (zh) 物体检测装置和方法
CN112766056B (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112906631A (zh) 一种基于视频的危险驾驶行为检测方法和检测系统
CN111401368B (zh) 一种基于深度学习的新闻视频标题提取方法
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN106919939A (zh) 一种交通标识牌跟踪识别方法及系统
Sheng et al. Real-time anti-interference location of vehicle license plates using high-definition video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant