CN108629349A - 一种基于图像处理的踏板检测方法及系统 - Google Patents

一种基于图像处理的踏板检测方法及系统 Download PDF

Info

Publication number
CN108629349A
CN108629349A CN201810446977.4A CN201810446977A CN108629349A CN 108629349 A CN108629349 A CN 108629349A CN 201810446977 A CN201810446977 A CN 201810446977A CN 108629349 A CN108629349 A CN 108629349A
Authority
CN
China
Prior art keywords
image
pedal
histograms
training sample
svm classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810446977.4A
Other languages
English (en)
Other versions
CN108629349B (zh
Inventor
杨晨
孙新学
宋亚军
向宏义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN201810446977.4A priority Critical patent/CN108629349B/zh
Publication of CN108629349A publication Critical patent/CN108629349A/zh
Application granted granted Critical
Publication of CN108629349B publication Critical patent/CN108629349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像处理的踏板检测系统及方法，其中方法包括以下步骤：图像采集步骤、采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本；分类器训练步骤、提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器；踏板检测步骤、提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。本发明通过采集踏板图像，提取方向梯度直方图信息，构成特征向量，利用SVM分类方法特征向量进行分类，从而实时监控踏板收放状态，防止与过往列车发生蹭车事故，提升动车检修平台安全裕度。

Description

一种基于图像处理的踏板检测方法及系统
技术领域
本发明涉及计算机图像检测领域，尤其涉及一种基于图像处理的踏板检测方法及系统。
背景技术
动车组检修平台为动车基地及动车运用所中的关键设备之一，为动车组的日常整备、检查、保养和修理提供了便捷。在设备工艺设计中采用液压渡板等方法，以适应检修人员登上各型动车组不同高度的需求。因此，在实际的平台及防护网上均设置踏板(亦称为渡板)，以保证工作人员登顶作业的安全。我国的动车组CRH系列车型较多，不同车型的车体的高度及轮廓形状差异较大，为了使检修平台兼容所有的动车组的轮廓，设置踏板机构是非常必要的。在国外，由于动车组车型单一，在检修平台上不设置踏板(渡板)，因此，对于踏板的远程监控研究较为罕见。
动车所一般采用4线库，其踏板的数量为768块，大多是采用气缸驱动踏板的反转(收/放)，数量庞大的踏板分布在15444平方米的车间内，加之踏板的收放状态及故障均对运用有重要影响。由此可见，监控踏板的状态是非常重要的。
目前，在国内多依靠行程开关监控系统监控踏板的收放情况。该方法由于硬件的设备状态与系统稳定性等原因，在个别情况下存在漏报、误报的风险，同时开关信号不能够直观显示踏板的实时状态。
发明内容
本发明要解决的技术问题在于，针对现有技术中以上的缺陷，提供一种基于图像处理的踏板检测方法及系统。
为了解决上述技术问题，本发明提供了一种基于图像处理的踏板检测方法，包括以下步骤：
图像采集步骤、采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本；
分类器训练步骤、提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器；
踏板检测步骤、提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。
在根据本发明所述的基于图像处理的踏板检测方法中，优选地，提取测试样本或训练样本中图像的方向梯度直方图信息构成特征向量的步骤包括：
采用线性空间光照校正法对输入的图像进行颜色空间的标准化；
计算每个像素的梯度，其中将图像划分为预定大小的单元；计算每个单元的梯度直方图；将多个单元组成区块，一个区块所有单元的特征串联起来得到该区块的HOG特征；将图像内所有区块的HOG特征串联起来得到该图像的HOG特征；提取每个图像的HOG特征，得到对应的特征向量。
在根据本发明所述的基于图像处理的踏板检测方法中，优选地，所述图像采集步骤采集的图像的视场范围内包括6～10块踏板。
在根据本发明所述的基于图像处理的踏板检测方法中，优选地，划分的每个单元的大小为6*6个像素，每个区块包含3*3个单元。
在根据本发明所述的基于图像处理的踏板检测方法中，优选地，所述方法还包括报警步骤，用于根据所述踏板检测步骤的检测结果进行报警。
本发明还提供了一种基于图像处理的踏板检测系统，包括：
图像采集模块，用于采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本；
分类器训练模块，用于提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器；
踏板检测模块，用于提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。
在根据本发明所述的基于图像处理的踏板检测系统中，优选地，提取测试样本或训练样本中图像的方向梯度直方图信息构成特征向量的步骤包括：
采用线性空间光照校正法对输入的图像进行颜色空间的标准化；
计算每个像素的梯度，其中将图像划分为预定大小的单元；计算每个单元的梯度直方图；将多个单元组成区块，一个区块所有单元的特征串联起来得到该区块的HOG特征；将图像内所有区块的HOG特征串联起来得到该图像的HOG特征；提取每个图像的HOG特征，得到对应的特征向量。
在根据本发明所述的基于图像处理的踏板检测系统中，优选地，所述图像采集模块采集的图像的视场范围内包括6～10块踏板。
在根据本发明所述的基于图像处理的踏板检测系统中，优选地，划分的每个单元的大小为6*6个像素，每个区块包含3*3个单元。
在根据本发明所述的基于图像处理的踏板检测系统中，优选地，所述系统还包括报警模块，用于根据所述踏板检测模块的检测结果进行报警。
实施本发明的基于图像处理的踏板检测系统及方法，具有以下有益效果：本发明通过采集踏板图像，提取方向梯度直方图信息，构成特征向量，利用SVM分类方法特征向量进行分类，从而实时监控踏板收放状态，防止与过往列车发生蹭车事故，提升动车检修平台安全裕度。
附图说明
图1为根据本发明第一实施例的基于图像处理的踏板检测方法的流程图；
图2为根据本发明第二实施例的基于图像处理的踏板检测方法的流程图；
图3为根据本发明采集的训练样本图；
图4为根据本发明的分类器训练步骤中HOG特征提取的流程图；
图5为根据本发明优选实施例的基于图像处理的踏板检测系统的模块框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为根据本发明第一实施例的基于图像处理的踏板检测方法的流程图。如图1所示，该实施例提供的方法包括以下步骤：
首先，在步骤S101中，执行图像采集步骤：采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本；
随后，在步骤S102中，执行模型训练步骤：提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器；
随后，在步骤S103中，执行踏板检测步骤：提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。本发明中图像采集时摄像头被配置为只有在踏板收起时才能拍到踏板图像，而在落下时对应区域只能看到列车与检测平台间隙。例如，将摄像头安装于检测平台的踏板上方，向斜下方拍摄踏板图像。因此，当踏板安装区域检测到踏板图像时，则可以判断踏板处于收起的状态，当踏板安装区域检测不到踏板图像时，则可以判断踏板处于落下的状态。
请参阅图2，为根据本发明第二实施例的基于图像处理的踏板检测方法的流程图。如图2所示，该第二实施例提供的方法包括以下步骤：
首先，在步骤S201中，流程开始；
随后，在步骤S202～S204中，执行图像采集步骤；
在步骤S202中，对固定架设位置的网络摄像机，采集其实时流每一帧图像。例如，在动车组检修平台上安装多个网络摄像机，从而采集包含踏板区域在内的图像。优选地，每个网络摄像头采集的图像的视场范围内包括6～10块踏板。网络摄像机可以预先采集一些特定踏板状态下的图像作为训练样本，即控制踏板处于落下状态和处于收起状态时分别采集对应的图像。在需要对当前踏板状态进行检测的时候，可以实时采集包含踏板区域在内的图像作为测试样本。
在步骤S203中，采用人工标定的方法提取图片踏板区域，将已知踏板放下后所处位置坐标输入系统。该步骤中也可以预先接收人工标定的踏板区域的像素范围，从采集的图片中裁剪出踏板区域的图像。例如，对于固定位置的网络摄像机，调整好其视场与焦距，视场范围内有6～10块踏板，人为控制踏板收放，对踏板区域进行人工标定，提取踏板收起放下正负训练样本3000～5000张。如图3所示，图像中区域301标示了处于收起状态(即工作状态)的踏板，区域302标示了另一个处于落下状态(即非工作状态)的踏板。其中该图片可以作为区域301位置的踏板的正训练样本，同时也可以作为区域302位置的踏板的负训练样本。该步骤中还可以将网络摄像机实时采集的图像按对应标定的窗口生成测试样本。
随后，在步骤S204～S207中，执行分类器训练步骤：
在步骤S204中，选取训练样本，例如正负训练样本3000～5000张；
在步骤S205中，选择核函数参数设置，如高斯核函数；
在步骤S206中，正负样本特征具有明显区别，提取训练样本的图像中的HOG特征，生成特征向量，可抗光照干扰；
在步骤S207中，利用训练样本的HOG特征向量训练SVM分类器；
随后，在步骤S208～S209中，执行踏板检测步骤；
在步骤S208中，获取测试样本；
在步骤S209中，提取测试样本的图像的方向梯度直方图信息，并利用步骤S207训练的SVM分类器判断测试样本中踏板处于落下还是收起的状态；
在步骤S210中，返回对应网络摄像头位置与图像中踏板位置，发出报警信息。该步骤根据踏板检测步骤的检测结果进行报警，在检修作业结束列车驶入或驶离时启动布防，在检测踏板处于落下状态时发出提醒或者报警信息，并将对应踏板位置返回给计算机的主控界面进行显示，从而针对踏板落下状态进行预警和定位，防止与过往列车发生蹭车事故。该步骤中还可以将踏板处于落下状态时对应的网络摄像头位置及采集的实时图像显示的主控界面。
最后，在步骤S211中，流程结束。
请参阅图4，为根据本发明的分类器训练步骤中HOG特征提取的流程图。如图4所示，分类器训练步骤中所述提取训练样本中每个图像的方向梯度直方图信息构成特征向量的步骤，以及踏板检测步骤中提取测试样本的图像的方向梯度直方图信息构成特征向量的步骤包括：
首先，在步骤S401中，采用线性空间光照校正法对输入的图像进行颜色空间的标准化，即归一化图像。
随后，在步骤S402中计算每个像素的梯度；
其中，在步骤S403中将图像划分为预定大小的单元(cell)；计算每个单元的梯度直方图；对每一个单元的梯度直方图进行规定权重的投影。
在步骤S404中，将多个单元组成区块(block)，一个区块所有单元的特征串联起来得到该区块的HOG特征；对每一个重叠区块内的单元(cell)进行对比度归一化；
在步骤S405中，将图像内所有区块的HOG特征串联起来得到该图像的HOG特征；提取每个图像的HOG特征，得到对应的特征向量。
请参阅图5，为根据本发明优选实施例的基于图像处理的踏板检测系统的模块框图。如图5所示，该实施例提供的系统包括：图像采集模块501、分类器训练模块502和踏板检测模块503。
图像采集模块501用于采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本。该图像采集模块501与前述方法中图像采集步骤的实现过程相同，在此不再赘述。
分类器训练模块502用于提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器。该分类器训练模块502与前述方法中分类器训练步骤的实现过程相同，在此不再赘述。
踏板检测模块503用于提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。该踏板检测模块503与前述方法中踏板检测步骤的实现过程相同，在此不再赘述。
优选地，该系统还包括报警模块，用于根据踏板检测模块503的检测结果进行报警。
综上所述，本发明基于方向梯度直方图(HOG)与SVM分类算法，能够有效准确地识别检修平台踏板状态，针对踏板异常落下进行预警和定位，防止与过往列车发生蹭车事故。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像处理的踏板检测方法，其特征在于，包括以下步骤：
图像采集步骤、采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本；
分类器训练步骤、提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器；
踏板检测步骤、提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。
2.根据权利要求1所述的基于图像处理的踏板检测方法，其特征在于，提取测试样本或训练样本中图像的方向梯度直方图信息构成特征向量的步骤包括：
采用线性空间光照校正法对输入的图像进行颜色空间的标准化；
计算每个像素的梯度，其中将图像划分为预定大小的单元；计算每个单元的梯度直方图；将多个单元组成区块，一个区块所有单元的特征串联起来得到该区块的HOG特征；将图像内所有区块的HOG特征串联起来得到该图像的HOG特征；提取每个图像的HOG特征，得到对应的特征向量。
3.根据权利要求1所述的基于图像处理的踏板检测方法，其特征在于，所述图像采集步骤采集的图像的视场范围内包括6～10块踏板。
4.根据权利要求2所述的基于图像处理的踏板检测方法，其特征在于，划分的每个单元的大小为6*6个像素，每个区块包含3*3个单元。
5.根据权利要求1～4中任一项所述的基于图像处理的踏板检测方法，其特征在于，所述方法还包括报警步骤，用于根据所述踏板检测步骤的检测结果进行报警。
6.一种基于图像处理的踏板检测系统，其特征在于，包括：
图像采集模块，用于采集踏板落下和收起状态的图像作为训练样本，并采集待检测时刻踏板的图像作为测试样本；
分类器训练模块，用于提取训练样本中每个图像的方向梯度直方图信息构成特征向量；选择SVM分类器核函数，并使用提取的训练样本训练SVM分类器；
踏板检测模块，用于提取测试样本的图像的方向梯度直方图信息构成特征向量，并利用所述SVM分类器判断为踏板落下或收起的状态。
7.根据权利要求6所述的基于图像处理的踏板检测系统，其特征在于，提取测试样本或训练样本中图像的方向梯度直方图信息构成特征向量的步骤包括：
采用线性空间光照校正法对输入的图像进行颜色空间的标准化；
计算每个像素的梯度，其中将图像划分为预定大小的单元；计算每个单元的梯度直方图；将多个单元组成区块，一个区块所有单元的特征串联起来得到该区块的HOG特征；将图像内所有区块的HOG特征串联起来得到该图像的HOG特征；提取每个图像的HOG特征，得到对应的特征向量。
8.根据权利要求6所述的基于图像处理的踏板检测系统，其特征在于，所述图像采集模块采集的图像的视场范围内包括6～10块踏板。
9.根据权利要求7所述的基于图像处理的踏板检测系统，其特征在于，划分的每个单元的大小为6*6个像素，每个区块包含3*3个单元。
10.根据权利要求6～8中任一项所述的基于图像处理的踏板检测系统，其特征在于，所述系统还包括报警模块，用于根据所述踏板检测模块的检测结果进行报警。
CN201810446977.4A 2018-05-11 2018-05-11 一种基于图像处理的踏板检测方法及系统 Active CN108629349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810446977.4A CN108629349B (zh) 2018-05-11 2018-05-11 一种基于图像处理的踏板检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810446977.4A CN108629349B (zh) 2018-05-11 2018-05-11 一种基于图像处理的踏板检测方法及系统

Publications (2)

Publication Number Publication Date
CN108629349A true CN108629349A (zh) 2018-10-09
CN108629349B CN108629349B (zh) 2020-10-23

Family

ID=63692688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810446977.4A Active CN108629349B (zh) 2018-05-11 2018-05-11 一种基于图像处理的踏板检测方法及系统

Country Status (1)

Country Link
CN (1) CN108629349B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130245884A1 (en) * 2012-03-19 2013-09-19 Qualcomm Incorporated User experience of the connected automobile
CN104200219A (zh) * 2014-08-20 2014-12-10 深圳供电局有限公司 一种变电站刀闸位开关位指示自动识别方法及装置
CN105528582A (zh) * 2015-12-14 2016-04-27 深圳大学 一种实时视频智能识别方法及装置
CN107273811A (zh) * 2017-05-22 2017-10-20 弗赛特（武汉）系统工程有限公司 动车运用所三层作业平台渡板状态监控方法
CN107423744A (zh) * 2017-03-23 2017-12-01 北京环境特性研究所 钢绳芯输送带的接头识别及损伤定位方法
CN107976319A (zh) * 2017-10-13 2018-05-01 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130245884A1 (en) * 2012-03-19 2013-09-19 Qualcomm Incorporated User experience of the connected automobile
CN104200219A (zh) * 2014-08-20 2014-12-10 深圳供电局有限公司 一种变电站刀闸位开关位指示自动识别方法及装置
CN105528582A (zh) * 2015-12-14 2016-04-27 深圳大学 一种实时视频智能识别方法及装置
CN107423744A (zh) * 2017-03-23 2017-12-01 北京环境特性研究所 钢绳芯输送带的接头识别及损伤定位方法
CN107273811A (zh) * 2017-05-22 2017-10-20 弗赛特（武汉）系统工程有限公司 动车运用所三层作业平台渡板状态监控方法
CN107976319A (zh) * 2017-10-13 2018-05-01 上海眼控科技股份有限公司 一种轿车加装脚踏板的智能检测系统及方法

Also Published As

Publication number Publication date
CN108629349B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
CN205158658U (zh) 一种高速公路故障预警信号系统
CN105719482A (zh) 动态车辆信息采集装置
CN104599443A (zh) 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN103236181A (zh) 一种基于机器视觉的交通信号灯状态监控系统及方法
CN201825066U (zh) 机车地面信号及障碍物自动识别系统
CN111339905B (zh) 基于深度学习及多视角的cim井盖状态视觉检测系统
CN106373430A (zh) 一种基于计算机视觉的交叉路口通行预警方法
CN104200668A (zh) 一种基于图像分析的摩托车不戴头盔违章事件检测方法
KR101688218B1 (ko) 객체 인지 기반의 실시간 영상 검지 기술을 이용한 교통 흐름 및 돌발 상황 관리 시스템 및 그 처리 방법
CN109598187A (zh) 障碍物识别方法、障碍物识别系统及轨道车自动驾驶装置
CN103453892B (zh) 一种桥梁裂缝实时监测及快速预警装置
CN204990743U (zh) 一种超高车辆预警系统
CN109146914B (zh) 一种高速公路基于视频分析的醉酒驾驶行为预警方法
CN209168403U (zh) 超限高车辆预警系统
CN104240239A (zh) 一种基于道路图像探测局域路段雾霾天气的检测方法
CN205541424U (zh) 动态车辆信息采集装置
CN204332007U (zh) 一种基于信息融合的驾驶行为预警车载终端
CN110866479A (zh) 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN105185114A (zh) 一种车辆违章变道行为取证装置及方法
CN109782364A (zh) 基于机器视觉的交通标志牌缺失检测方法
CN106887158A (zh) 急弯道路信号灯预警系统及其方法
CN113298059A (zh) 受电弓异物入侵检测方法、装置、计算机设备、系统及存储介质
KR101400153B1 (ko) 헬리데크 조명 고장 진단 장치 및 그 방법
CN108960131A (zh) 机械式车库防人误入检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant