CN107392115A - 一种基于分层特征提取的交通标志识别方法 - Google Patents
一种基于分层特征提取的交通标志识别方法 Download PDFInfo
- Publication number
- CN107392115A CN107392115A CN201710523176.9A CN201710523176A CN107392115A CN 107392115 A CN107392115 A CN 107392115A CN 201710523176 A CN201710523176 A CN 201710523176A CN 107392115 A CN107392115 A CN 107392115A
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- images
- hog
- feature
- fingerpost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于分层特征提取的交通标志识别方法,通过对交通标志图像进行分割和汉字定位来实现交通标志的第一次粗略分类,将指路标志分类出来,识别出具体的指路标志;通过对交通标志图像提取颜色纹理边缘方向特征CEDD,并基于稀疏表示的分类方法,在样本库中筛选出与交通标志区域最接近的样本种类,提取交通标志图像和该样本种类的样本集合的分层HOGi(i=1,2,3)特征,并基于SVM实现交通标志的精确识别;通过二次识别方法由粗到精的分层检测识别提高了交通标志识别的准确性和实时性,同时也扩大了交通标志识别的识别范围。
Description
技术领域
本发明涉及一种交通标志识别方法,具体的说,涉及了一种基于分层特征提取的交通标志识别方法。
背景技术
交通标志是一种用文字或符号传递引导、限制、警告或指示信息的道路设施。交通标志时交通信息的重要载体,乐意给司机和行人准确的交通引导,及时准确地识别交通标志信息对于交通安全至关重要。交通标志的识别是通过对外界道路交通图像进行处理和识别的过程,具体的说交通标志的识别过程包括交通标志的监测、特征提取和分类识别,其中,交通标志的检测和识别可以利用交通标志的形状、颜色和文字等具有区分性的特征,例如;圆形、三角形、矩形等作为形状特征普遍用在交通标志识别系统中。
现阶段,交通标志识别方法多用来监测和识别警告标志、禁令标志、指示标志这三种,对于常见的指路标志则很少有相应的识别方法;并且交通标志方法多采用阈值分割或模板匹配方法来进行交通标志的监测,并对检测到的交通标志区域提取颜色或形状不变矩特征,最后利用神经网络分类或状态机进行分类,总体来说现阶段交通标志识别方法的识别范围窄、准确率不高且运算时间长,无法满足用户的需求。
为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足,从而提供了一种基于分层特征提取的交通标志识别方法。
为了实现上述目的,本发明所采用的技术方案是:一种基于分层特征提取的交通标志识别方法,包括以下步骤:
S1,在检测到的原始交通图像中对交通标志区域进行检测和定位,并对检测出的交通标志区域进行盲复原处理,得到交通标志图像;
S2,将交通标志图像分割成子块,遍历所有的子块进行文字定位,以判断交通标志图像中是否存在汉字区域,若存在汉字区域,则说明交通标志为指路标志,继续执行S3;若不存在汉字区域,则说明交通标志不是指路标志,直接执行步骤S4;
S3,将所述指路标志的汉字区域分割成多个单个文字区域,提取每个文字区域的汉字特征,并利用BP神经网络对提取的汉字特征进行分类处理,检测出所述指路标志的文字信息;
S4,从交通标志图像和样本库中提取颜色纹理边缘方向特征CEDD,对颜色纹理边缘方向特征CEDD进行归一化,归一化的样本库颜色纹理边缘方向特征CEDD构成字典,采用稀疏求解的方法对交通标志图像进行稀疏表示,并利用基于稀疏表示的分类方法,对样本库中的图像进行粗略筛选,获得与交通标志图像最接近的类别;
S5,提取交通标志图像的分层HOGi(i=1,2,3)特征和最接近类别的交通标志样本集合的分层HOGi(i=1,2,3)特征;
S6,通过SVM对标准的每类交通标志样本集合的分层HOGi(i=1,2,3)特征进行训练,得到SVM分类器;
S7,将交通标志图像的分层HOGi(i=1,2,3)特征代入SVM分类器完成交通标志的精确识别。
基于上述,步骤5中,提取分层HOGi(i=1,2,3)特征的步骤为:
步骤1,将图像进行二值化处理和标准化处理,得到灰度图像;
步骤2,对灰度图像进行三次HOG特征的提取,得到不同的三幅HOG(n)特征提取图像,其中n=1,2,3;
步骤3,统计每幅HOG(n)特征提取图像的所有子块图像的HOG特征,将所有子块图像的HOG特征顺序级联成每幅HOG(n)特征提取图像的第二个特征向量,即得到分层HOGi(i=1,2,3)特征。
基于上述,若S2中已判断交通标志为指路标志,则进一步提取交通标志图像的RGB彩色信息,分别计算绿色、蓝色像素数占总像素数的比重,取占最大比例的颜色为此交通标志图像的主色,若主色为蓝色,则为普通道路指路标志;若为绿色,则为高速道路或城市快速路指路标志。
本发明相对现有技术具有突出的实质性特点和显著的进步,具体的说,本发明通过对交通标志图像进行分割和汉字定位来实现交通标志的第一次粗略分类,将指路标志分类出来,识别出具体的指路标志;通过对交通标志图像提取颜色纹理边缘方向特征CEDD,并基于稀疏表示的分类方法,在样本库中筛选出与交通标志区域最接近的样本种类,提取交通标志图像和该样本种类的样本集合的分层HOGi(i=1,2,3)特征,并基于SVM实现交通标志的精确识别;通过二次识别方法以及由粗到精的分层检测识别提高了交通标志识别的准确性和实时性,同时也扩大了交通标志识别的识别范围。
附图说明
图1是本发明的流程示意图。
图2是本发明采取的颜色纹理边缘方向特征CEDD提取方法的流程示意图。
具体实施方式
下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。
如图1所示,一种基于分层特征提取的交通标志识别方法,包括以下步骤:
S1,在检测到的原始交通图像中对交通标志区域进行检测和定位,并对检测出的交通标志区域进行盲复原处理,获得高清晰度的交通标志图像;
S2,将交通标志图像分割成子块,遍历所有的子块进行文字定位,以判断交通标志图像中是否存在汉字区域,若存在汉字区域,则说明交通标志为指路标志,继续执行S3;若不存在汉字区域,则说明交通标志不是指路标志,直接执行步骤S4;
S3,将所述指路标志的汉字区域分割成多个单个文字区域,提取每个文字区域的汉字特征,并利用BP神经网络对提取的汉字特征进行分类处理,检测出所述指路标志的文字信息;
S4,从交通标志图像和样本库中提取颜色纹理边缘方向特征CEDD,对颜色纹理边缘方向特征CEDD进行归一化,归一化的样本库的颜色纹理边缘方向特征CEDD构成字典,采用稀疏求解的方法对交通标志图像进行稀疏表示,并利用基于稀疏表示的分类方法,对样本库中的图像进行粗略筛选,获得与交通标志图像最接近的类别;样本库中包含每类交通标志的多个样本,具体为:主色为黄色、形状为三角形的警告标志,主色为红色、形状为圆形、三角形或八角形的禁令标志,主色是蓝色,形状为圆形或三角形的指示标志;
S5,提取交通标志图像的分层HOGi(i=1,2,3)特征和最接近类别的交通标志样本集合的分层HOGi(i=1,2,3)特征;
S6,通过SVM对标准的每类交通标志样本集合的分层HOGi(i=1,2,3)特征进行训练,得到SVM分类器;
S7,将交通标志图像的分层HOGi(i=1,2,3)特征代入SVM分类器完成交通标志的精确识别。
具体的,步骤S3中选取 Gabor 特征和网格特征的提取方法提取特征,并使用 BP神经网络分类器对提取的特征进行处理,实现对汉字图像的文字识别功能,构建二级神经网络,先针对汉字结构进行粗分类,然后根据分类结果再在二级网络中进行细分类,从而识别出所述指路标志的文字信息。
由于指路标志包括普通道路指路标志、高速道速指路标志和城市快速路指路标志,其中,指路标志的形状为矩形,且普通道路指路标志为蓝底、白图案,城市快速路或高速公路为绿底、白图案。因此若通过步骤S2已经识别出当前交通标志图像为指路标志时,还想进一步识别当前交通标志为普通道路指路标志、高速道速指路标志或城市快速路指路标志,则需提取当前交通标志图像的RGB彩色信息,分别计算绿色、蓝色像素数占总像素数的比重,取占最大比例的颜色为此交通标志图像的主色,若主色为蓝色,则为普通道路指路标志;若为绿色,则为高速道路或城市快速路指路标志。
具体的,步骤S4选取颜色纹理边缘方向特征CEDD作为筛选层的分类特征的原因有以下几点:1)CEDD既包含了图像的颜色信息,又包含了图像的边缘信息,是一个颜色信息和边缘信息结合的特征,能够更好的表示图像的视觉信息;2)CEDD计算简单,准确性较高。所以颜色纹理边缘方向特征CEDD符合图像筛选层的特征应具有的简单易实现,又能得到较好分类效果的特点。
颜色纹理边缘方向特征CEDD提取可分为两个模块,分别是颜色模块和纹理边缘模块。颜色模块是用来提取图像的颜色信息,纹理边缘模块是用来提取图像的纹理边缘信息,如图2所示为本发明采取的颜色纹理边缘方向特征CEDD提取方法。
CEDD直方图由6个纹理边缘区域组成,其边缘纹理分别是无边缘信息、无方向边缘、水平方向边缘、垂直方向边缘、45方向边缘、135方向边缘,然后在每一维纹理边缘信息中加入24维颜色信息。因此,颜色纹理边缘方向特征CEDD中包含了图像的颜色和边缘纹理特性,是一个6*24=144维的直方图特征。
利用Lasso求稀疏解,获得稀疏表示,并采用基于稀疏表示的方法对样本库中的图像进行分类,优选的,本文采用SRC分类,在分类时,结合了重构残差来分类,从而筛选出与交通标志图像最接近的类别。把图像进行分类的目的是减少后期SVM分类识别时需要特征匹配的图像数目,提高了识别的性能,减少识别所需的时间。
具体的,步骤5中,提取分层HOGi(i=1,2,3)特征的步骤为:
步骤1,将图像进行二值化处理和标准化处理,得到灰度图像;
步骤2,对灰度图像进行三次HOG特征的提取,得到不同的三幅HOG(n)特征提取图像,其中n=1,2,3;
步骤3,统计每幅HOG(n)特征提取图像的所有子块图像的HOG特征,将所有子块图像的HOG特征顺序级联成每幅HOG(n)特征提取图像的第二个特征向量,即得到分层HOGi(i=1,2,3)特征。
通过提取分层HOGi(i=1,2,3)特征,能够提取到图像更多更丰富的边缘梯度信息,能够提高交通标志识别的准确度和实时性。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (3)
1.一种基于分层特征提取的交通标志识别方法,其特征在于,包括以下步骤:
S1,在检测到的原始交通图像中对交通标志区域进行检测和定位,并对检测出的交通标志区域进行盲复原处理,得到交通标志图像;
S2,将交通标志图像分割成子块,遍历所有的子块进行文字定位,以判断交通标志图像中是否存在汉字区域,若存在汉字区域,则说明交通标志为指路标志,继续执行S3;若不存在汉字区域,则说明交通标志不是指路标志,直接执行步骤S4;
S3,将所述指路标志的汉字区域分割成多个单个文字区域,提取每个文字区域的汉字特征,并利用BP神经网络对提取的汉字特征进行分类处理,检测出所述指路标志的文字信息;
S4,从交通标志图像和样本库中提取颜色纹理边缘方向特征CEDD,对颜色纹理边缘方向特征CEDD进行归一化,归一化的样本库颜色纹理边缘方向特征CEDD构成字典,采用稀疏求解的方法对交通标志图像进行稀疏表示,并利用基于稀疏表示的分类方法,对样本库中的图像进行粗略筛选,获得与交通标志图像最接近的类别;
S5,提取交通标志图像的分层HOGi(i=1,2,3)特征和最接近类别的交通标志样本集合的分层HOGi(i=1,2,3)特征;
S6,通过SVM对标准的每类交通标志样本集合的分层HOGi(i=1,2,3)特征进行训练,得到SVM分类器;
S7,将交通标志图像的分层HOGi(i=1,2,3)特征代入SVM分类器完成交通标志的精确识别。
2.根据权利要求1所述的基于分层特征提取的交通标志识别方法,其特征在于,步骤5中,提取分层HOGi(i=1,2,3)特征的步骤为:
步骤1,将图像进行二值化处理和标准化处理,得到灰度图像;
步骤2,对灰度图像进行三次HOG特征的提取,得到不同的三幅HOG(n)特征提取图像,其中n=1,2,3;
步骤3,统计每幅HOG(n)特征提取图像的所有子块图像的HOG特征,将所有子块图像的HOG特征顺序级联成每幅HOG(n)特征提取图像的第二个特征向量,即得到分层HOGi(i=1,2,3)特征。
3.根据权利要求1或2所述的基于分层特征提取的交通标志识别方法,其特征在于:若S2中已判断交通标志为指路标志,则进一步提取交通标志图像的RGB彩色信息,分别计算绿色、蓝色像素数占总像素数的比重,取占最大比例的颜色为此交通标志图像的主色,若主色为蓝色,则为普通道路指路标志;若为绿色,则为高速道路或城市快速路指路标志。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710523176.9A CN107392115B (zh) | 2017-06-30 | 2017-06-30 | 一种基于分层特征提取的交通标志识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710523176.9A CN107392115B (zh) | 2017-06-30 | 2017-06-30 | 一种基于分层特征提取的交通标志识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107392115A true CN107392115A (zh) | 2017-11-24 |
CN107392115B CN107392115B (zh) | 2021-01-12 |
Family
ID=60334570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710523176.9A Active CN107392115B (zh) | 2017-06-30 | 2017-06-30 | 一种基于分层特征提取的交通标志识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107392115B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710826A (zh) * | 2018-04-13 | 2018-10-26 | 燕山大学 | 一种交通标志深度学习模式识别方法 |
CN111144218A (zh) * | 2019-11-29 | 2020-05-12 | 中科曙光(南京)计算技术有限公司 | 车辆行驶过程中交通标志识别方法、装置 |
CN111192456A (zh) * | 2020-01-14 | 2020-05-22 | 泉州市益典信息科技有限公司 | 一种道路交通运行态势多时间尺度预测方法 |
CN116563721A (zh) * | 2023-07-12 | 2023-08-08 | 浙江领见数智科技有限公司 | 基于分层分类思想的烟田提取方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024152A (zh) * | 2010-12-14 | 2011-04-20 | 浙江大学 | 一种基于稀疏表达和字典学习进行交通标志识别的方法 |
CN102521616A (zh) * | 2011-12-28 | 2012-06-27 | 江苏大学 | 基于稀疏表示的行人检测方法 |
US20140072213A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection |
CN104616021A (zh) * | 2014-12-24 | 2015-05-13 | 深圳市腾讯计算机系统有限公司 | 交通标志图像处理方法及装置 |
CN105389550A (zh) * | 2015-10-29 | 2016-03-09 | 北京航空航天大学 | 一种基于稀疏指引与显著驱动的遥感目标检测方法 |
CN105447503A (zh) * | 2015-11-05 | 2016-03-30 | 长春工业大学 | 基于稀疏表示lbp和hog融合的行人检测方法 |
CN105787475A (zh) * | 2016-03-29 | 2016-07-20 | 西南交通大学 | 一种复杂环境下的交通标志检测与识别方法 |
CN106709412A (zh) * | 2015-11-17 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 交通标志检测方法和装置 |
-
2017
- 2017-06-30 CN CN201710523176.9A patent/CN107392115B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024152A (zh) * | 2010-12-14 | 2011-04-20 | 浙江大学 | 一种基于稀疏表达和字典学习进行交通标志识别的方法 |
CN102521616A (zh) * | 2011-12-28 | 2012-06-27 | 江苏大学 | 基于稀疏表示的行人检测方法 |
US20140072213A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection |
CN104616021A (zh) * | 2014-12-24 | 2015-05-13 | 深圳市腾讯计算机系统有限公司 | 交通标志图像处理方法及装置 |
CN105389550A (zh) * | 2015-10-29 | 2016-03-09 | 北京航空航天大学 | 一种基于稀疏指引与显著驱动的遥感目标检测方法 |
CN105447503A (zh) * | 2015-11-05 | 2016-03-30 | 长春工业大学 | 基于稀疏表示lbp和hog融合的行人检测方法 |
CN106709412A (zh) * | 2015-11-17 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 交通标志检测方法和装置 |
CN105787475A (zh) * | 2016-03-29 | 2016-07-20 | 西南交通大学 | 一种复杂环境下的交通标志检测与识别方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710826A (zh) * | 2018-04-13 | 2018-10-26 | 燕山大学 | 一种交通标志深度学习模式识别方法 |
CN111144218A (zh) * | 2019-11-29 | 2020-05-12 | 中科曙光(南京)计算技术有限公司 | 车辆行驶过程中交通标志识别方法、装置 |
CN111192456A (zh) * | 2020-01-14 | 2020-05-22 | 泉州市益典信息科技有限公司 | 一种道路交通运行态势多时间尺度预测方法 |
CN116563721A (zh) * | 2023-07-12 | 2023-08-08 | 浙江领见数智科技有限公司 | 基于分层分类思想的烟田提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107392115B (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105373794B (zh) | 一种车牌识别方法 | |
CN102043950B (zh) | 基于canny算子和边缘点统计的车辆轮廓识别方法 | |
CN105913041B (zh) | 一种基于预先标定的信号灯识别方法 | |
WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
CN106156768B (zh) | 基于视觉的机动车行驶证检测方法 | |
CN102163284B (zh) | 面向中文环境的复杂场景文本定位方法 | |
CN103971126B (zh) | 一种交通标志识别方法和装置 | |
CN104408449B (zh) | 智能移动终端场景文字处理方法 | |
Greenhalgh et al. | Traffic sign recognition using MSER and random forests | |
CN106886987B (zh) | 一种列车车牌二值化图像融合方法 | |
CN108108761A (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
CN103824081B (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
CN107392115A (zh) | 一种基于分层特征提取的交通标志识别方法 | |
CN108090429A (zh) | 一种分级前脸卡口车型识别方法 | |
CN107977682A (zh) | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 | |
CN103366190A (zh) | 一种识别交通标志的方法 | |
CN102819728A (zh) | 一种基于分类模板匹配的交通标志检测方法 | |
CN106529592A (zh) | 一种基于混合特征与灰度投影的车牌识别方法 | |
CN101872416A (zh) | 对道路图像进行车牌识别的方法和系统 | |
CN103390167A (zh) | 一种多特征的分层交通标志识别方法 | |
CN106709530A (zh) | 基于视频的车牌识别方法 | |
CN105760858A (zh) | 一种基于类Haar中间层滤波特征的行人检测方法及装置 | |
CN102880859A (zh) | 一种车牌识别方法 | |
CN107704853A (zh) | 一种基于多分类器的交通信号灯的识别方法 | |
CN107730499A (zh) | 一种基于nu‑支持向量机的白细胞分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |