CN102609702A - 一种道路指路标志的快速定位方法以及系统 - Google Patents

一种道路指路标志的快速定位方法以及系统 Download PDF

Info

Publication number
CN102609702A
CN102609702A CN201210024099XA CN201210024099A CN102609702A CN 102609702 A CN102609702 A CN 102609702A CN 201210024099X A CN201210024099X A CN 201210024099XA CN 201210024099 A CN201210024099 A CN 201210024099A CN 102609702 A CN102609702 A CN 102609702A
Authority
CN
China
Prior art keywords
candidate region
fingerpost
road
effective candidate
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210024099XA
Other languages
English (en)
Other versions
CN102609702B (zh
Inventor
李熙莹
罗玲
王镇波
陈玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201210024099.XA priority Critical patent/CN102609702B/zh
Publication of CN102609702A publication Critical patent/CN102609702A/zh
Application granted granted Critical
Publication of CN102609702B publication Critical patent/CN102609702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种道路指路标志的快速定位方法以及系统，该系统包括获取单元、分割单元、区域获取单元以及定位单元。该方法是，首先获取道路图像，然后将获取的道路图像分割成上、下两部分图像，跟着采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取，最后对获取的有效候选区域进行水平长直线检测，进而定位指路标志。通过使用本发明，由于本发明采用直线特征检测替代传统的矩形形状特征检测，因此能够大大地缩短进行定位指路标志这一过程的时间，而且鲁棒性大大提高。本发明作为一种道路指路标志的快速定位方法以及系统广泛应用在交通标志识别领域中。

Description

一种道路指路标志的快速定位方法以及系统
技术领域
本发明涉及一种定位交通标志的方法以及系统，尤其涉及一种通过检测指路标志上边界或下边界的直线特征进而定位的道路指路标志快速定位方法以及系统。
背景技术
道路指路标志是交通标志的一个重要组成部分，道路指路标志识别是辅助驾驶系统的重要组成部分，而道路指路标志定位是道路指路标志识别中必不可少的一部分，因此，道路指路标志定位的发展与国内外高性能和高安全性汽车的发展密切相关。道路指路标志定位是通过在车辆内安装车载摄像机，由摄像机拍摄行驶的路面状况，并检测和定位道路中的指路标志，通过道路指路标志的定位从而给予驾驶员相应的交通标志信息以致达到辅助驾驶员驾驶的效果。同时，道路指路标志定位也是无人驾驶车辆的重要组成部分。
对于道路指路标志定位技术，由于该技术一般用于车辆辅助驾驶，运行在车载设备上，因此，对于用于道路指路标志定位技术的运算方法，人们会要求该运算方法的运算速度越快越好。现有的道路指路标志定位方法通常是依据道路指路标志的颜色特征（蓝底白图案）和矩形形状特征进行检测和定位。但是，对道路指路标志的矩形形状特征的检测容易受到各种外界遮挡和干扰的影响，使得对道路指路标志的定位效果不理想，而且对矩形形状特征进行定位的速度较慢。
发明内容
为了解决上述技术问题，本发明的目的是提供一种采用直线特征检测的快速定位道路指路标志方法。
本发明的另一目的是提供一种采用直线特征检测的快速定位道路指路标志系统。
本发明采用的技术方案是：一种道路指路标志的快速定位方法，该方法步骤包括：
A、获取道路图像；
B、将获取的道路图像分割成上、下两部分图像；
C、采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取；
D、对获取的有效候选区域进行水平长直线检测，进而定位指路标志。
进一步，所述步骤C包括：
C1、采用基于RGB颜色模型的蓝色检测模型对上部分图像进行颜色分割后二值化，进而得到颜色分割效果图；
C2、通过形态学处理对颜色分割效果图进行去噪；
C3、对颜色分割效果图进行连通域搜索,并结合连通域提取算法和投影边界，对搜索到的连通域进行截取，得到候选区域；
C4、对候选区域进行面积判断，进而获得满足预设面积阈值条件的有效候选区域。
进一步，所述步骤C中基于RGB颜色模型的蓝色检测模型是根据蓝色的R、G、B三通道之间的关系进行建立的，该关系包括：
B通道的值是最大的，且B通道的值大于80；
R通道的值小于G通道的值；
（B-G）+(B-R)的值大于100；
G-R的绝对值小于80。    
进一步，所述步骤D包括：
D1、采用水平方向的Sobelh算子提取有效候选区域的水平边缘；
D2、根据提取的有效候选区域的水平边缘，采用Hough变换直线检测技术检测有效候选区域中是否存在满足预设条件的目标水平长直线； 
D3、当检测到有效候选区域中存在满足预设条件的目标水平长直线时，根据具有满足预设条件的目标水平长直线的有效候选区域，定位指路标志。 
进一步，在所述步骤D2中所述的预设条件包括水平长直线的长度阈值以及水平长直线的允许角度误差变化范围。
进一步，所述长度阈值是大于最小有效候选区域长度的四分之三。
进一步，所述的允许角度误差变化范围是[-50，50]。
本发明采用的另一技术方案是：一种道路指路标志的快速定位系统，该系统包括：
获取单元，用于获取道路图像；
分割单元，用于将获取的道路图像分割成上、下两部分图像；
区域获取单元，用于采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取；
定位单元，用于对获取的有效候选区域进行水平长直线检测，进而定位指路标志。
进一步，所述区域获取单元包括：
颜色分割模块，用于采用基于RGB颜色模型的蓝色检测模型对上部分图像进行颜色分割后二值化，进而得到颜色分割效果图；
去噪模块，用于通过形态学处理对颜色分割效果图进行去噪；
提取区域模块，用于对颜色分割效果图进行连通域搜索,并结合连通域提取算法和投影边界，对搜索到的连通域进行截取，得到候选区域；
筛选模块，用于对候选区域进行面积判断，进而获得满足预设面积阈值条件的有效候选区域。
进一步，所述定位单元包括：
边缘提取模块，用于采用水平方向的Sobelh算子提取有效候选区域的水平边缘；
直线检测模块，用于根据提取的有效候选区域的水平边缘，采用Hough变换直线检测技术检测有效候选区域中是否存在满足预设条件的目标水平长直线；
标志定位模块，用于当检测到有效候选区域存在满足预设条件的目标水平长直线时，根据具有满足预设条件的目标水平长直线的有效候选区域，定位指路标志。
本发明的有益效果是：本发明一种道路指路标志的快速定位方法，该方法采用直线特征检测替代传统的矩形形状特征检测，这样能够大大地缩短进行定位指路标志这一过程的时间，而且鲁棒性强，能够降低各种遮挡和干扰对定位指路标志的影响，从而使定位指路标志的准确性大大提高，得到理想的定位效果。
本发明的另一有益效果是：本发明一种道路指路标志的快速定位系统，该系统采用直线特征检测替代传统的矩形形状特征检测，这样能够大大地缩短进行定位指路标志这一过程的时间，而且抗扰性强，能够抵抗各种遮挡和干扰对定位指路标志效果的影响，从而使定位指路标志的准确性大大提高，得到理想的定位效果。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明一种道路指路标志的快速定位方法的方法步骤图；
图2是本发明一种道路指路标志的快速定位方法的最优实施方法的步骤流程图；
图3是本发明一种道路指路标志的快速定位系统的系统结构框图。
具体实施方式
由图1所示，一种道路指路标志的快速定位方法，该方法步骤包括：
A、获取道路图像；
B、将获取的道路图像分割成上、下两部分图像；
C、采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取；
D、对获取的有效候选区域进行水平长直线检测，进而定位指路标志。
由图2所示，本发明一种快速定位道路指路标志的最优实施方式的步骤流程包括：
S1、获取道路图像；
S2、将获取的道路图像分割成上、下两部分图像，由于指路标志的成像在获取的道路图像的上部分，因此，只对上部分图像进行检测处理以及定位；
S3、采用基于RGB颜色模型的蓝色检测模型对上部分图像进行颜色分割后二值化，进而得到颜色分割效果图，因此，所述的颜色分割效果图是二值图，另外，若上部分图像存在符合蓝色检测模型的像素点，那么进行二值化后，颜色分割效果图中符合蓝色检测模型的像素点是白色像素点；
S4、通过形态学处理对颜色分割效果图进行去噪，所述的形态学处理包括腐蚀膨胀；
S5、对颜色分割效果图进行连通域搜索,并结合连通域提取算法和投影边界，对搜索到的连通域进行截取，得到候选区域；
S6、由于候选区域中仍可能存在一些白色的噪点或无效色块，因此需要对候选区域进行面积判断，从而只提取满足预设面积阈值条件的有效候选区域，所述提取的有效候选区域中存有指路标志的成像，另外，由于颜色分割效果图是二值图，因此有效候选区域也是二值图；
S7、采用水平方向的Sobelh算子提取有效候选区域的水平边缘；
S8、根据提取的有效候选区域的水平边缘，采用Hough变换直线检测技术检测判断有效候选区域是否存在满足预设条件的目标水平长直线； 
S9、当检测到有效候选区域存在满足预设条件的目标水平长直线时，根据具有满足预设条件的目标水平长直线的有效候选区域，定位指路标志。
在上述最优实施方式的步骤S3中所述的基于RGB颜色模型的蓝色检测模型是根据蓝色的R、G、B三通道之间的关系进行建立的，而该关系是通过实地采集样本道路图像，对样本道路图像中指路标志的蓝色区域的R、G、B三通道之间的区域矩阵进行关系分析，从而得出的。该关系包括：（1）B通道的值是最大的，且B通道的值大于80；（2）R通道的值小于G通道的值；（3）（B-G）+(B-R)的值大于100；（4）G-R的绝对值小于80。根据上述蓝色的R、G、B三通道之间的关系可得到如下公式：
因此，通过上述基于RGB颜色模型的蓝色检测模型便能对指路标志的底面是蓝色这一颜色特征进行识别。而且由于蓝色的R、G、B三通道之间的关系是通过实地采集样本道路图像，对样本道路图像中指路标志的蓝色区域的R、G、B三通道之间的区域矩阵进行关系分析，从而得出的，因此，所述的蓝色检测模型鲁棒性强，能够降低光效或其它干扰对识别指路标志的蓝色特征造成的误差影响，即能够更加精确地对指路标志的蓝色特征进行识别。
在上述最优实施方式的步骤S7中所述的水平方向Sobelh算子如下：
将水平方向的Sobelh算子与有效候选区域进行卷积，当有效候选区域的像素点处于由黑变白的边界时，所述的像素点与水平方向的Sobelh算子进行卷积后得出的值为0，即极值点，也就代表所述的像素点为水平边缘像素点，因此，通过采用水平方向的Sobelh算子与有效候选区域进行卷积后，便能提取有效候选区域的水平边缘。所述像素点的值为1时，即显示白色，所述像素点的值为0时，即显示黑色。
在上述最优实施方式的步骤S8中所述的预设条件包括水平长直线的长度阈值以及水平长直线的允许角度误差变化范围。所述的允许角度误差变化范围是[-50，50]。所述长度阈值是大于最小有效候选区域长度的四分之三，所述最小有效候选区域指的是有效候选区域中长度最小的有效候选区域。
另外，在上述最优实施方式的步骤S8中，采用Hough变换直线检测技术检测判断有效候选区域是否存在满足预设条件的水平长直线，具体为：
采用Hough变换直线检测技术对满足允许角度误差变化范围[-50，50]的有效候选区域的水平边缘像素点进行变换，进而得出参数空间特征值，对所述参数空间特征值出现的次数进行累加统计，判断累加值是否大于长度阈值，若累加值大于长度阈值，那么大于长度阈值的累加值，其对应的像素点是组成目标水平长直线的像素点。
在上述最优实施方式的步骤S9中所述检测到的目标水平长直线就是指路标志的上边界或下边界，因此，当检测到有效候选区域中存在目标水平长直线时，便能根据目标水平长直线在有效候选区域的位置从而确定指路标志像在道路图像中成像的位置，同时根据具有目标水平长直线的有效候选区域的边界信息，进而去掉边界外的噪声，这样就能实现指路标志的目标定位。
由图3所示，一种道路指路标志的快速定位系统，该系统包括：
获取单元，用于获取道路图像；
分割单元，用于将获取的道路图像分割成上、下两部分图像；
区域获取单元，用于采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取；
定位单元，用于对获取的有效候选区域进行水平长直线检测，进而定位指路标志。
进一步作为优选的实施方式，所述区域获取单元包括：
颜色分割模块，用于采用基于RGB颜色模型的蓝色检测模型对上部分图像进行颜色分割后二值化，进而得到颜色分割效果图；
去噪模块，用于通过形态学处理对颜色分割效果图进行去噪；
提取区域模块，用于对颜色分割效果图进行连通域搜索,并结合连通域提取算法和投影边界，对搜索到的连通域进行截取，得到候选区域；
筛选模块，用于对候选区域进行面积判断，进而获得满足预设面积阈值条件的有效候选区域。
进一步作为优选的实施方式，所述定位单元包括：
边缘提取模块，用于采用水平方向的Sobelh算子提取有效候选区域的水平边缘；
直线检测模块，用于根据提取的有效候选区域的水平边缘，采用Hough变换直线检测技术检测有效候选区域中是否存在满足预设条件的目标水平长直线；
标志定位模块，用于当检测到有效候选区域存在满足预设条件的目标水平长直线时，根据具有满足预设条件的目标水平长直线的有效候选区域，定位指路标志。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种道路指路标志的快速定位方法，其特征在于：该方法步骤包括：
A、获取道路图像；
B、将获取的道路图像分割成上、下两部分图像；
C、采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取；
D、对获取的有效候选区域进行水平长直线检测，进而定位指路标志。
2.根据权利要求1所述一种道路指路标志的快速定位方法，其特征在于：所述步骤C包括：
C1、采用基于RGB颜色模型的蓝色检测模型对上部分图像进行颜色分割后二值化，进而得到颜色分割效果图；
C2、通过形态学处理对颜色分割效果图进行去噪；
C3、对颜色分割效果图进行连通域搜索,并结合连通域提取算法和投影边界，对搜索到的连通域进行截取，得到候选区域；
C4、对候选区域进行面积判断，进而获得满足预设面积阈值条件的有效候选区域。
3.根据权利要去1所述一种道路指路标志的快速定位方法，其特征在于：所述步骤C中基于RGB颜色模型的蓝色检测模型是根据蓝色的R、G、B三通道之间的关系进行建立的，该关系包括：
B通道的值是最大的，且B通道的值大于80；
R通道的值小于G通道的值；
（B-G）+(B-R)的值大于100；
G-R的绝对值小于80。
4.根据权利要求1所述一种道路指路标志的快速定位方法，其特征在于：所述步骤D包括：
D1、采用水平方向的Sobelh算子提取有效候选区域的水平边缘；
D2、根据提取的有效候选区域的水平边缘，采用Hough变换直线检测技术检测有效候选区域中是否存在满足预设条件的目标水平长直线； 
D3、当检测到有效候选区域中存在满足预设条件的目标水平长直线时，根据具有满足预设条件的目标水平长直线的有效候选区域，定位指路标志。
5.根据权利要求4所述一种道路指路标志的快速定位方法，其特征在于：在所述步骤D2中所述的预设条件包括水平长直线的长度阈值以及水平长直线的允许角度误差变化范围。
6.根据权利要求5所述一种道路指路标志的快速定位方法，其特征在于：所述的允许角度误差变化范围是[-50，50]。
7.根据权利要求5所述一种道路指路标志的快速定位方法，其特征在于：所述长度阈值是大于最小有效候选区域长度的四分之三。
8.一种道路指路标志的快速定位系统，其特征在于：该系统包括：
获取单元，用于获取道路图像；
分割单元，用于将获取的道路图像分割成上、下两部分图像；
区域获取单元，用于采用基于RGB颜色模型的蓝色检测模型，对上部分图像进行有效候选区域的获取；
定位单元，用于对获取的有效候选区域进行水平长直线检测，进而定位指路标志。
9.根据权利要求8所述一种道路指路标志的快速定位系统，其特征在于：所述区域获取单元包括：
颜色分割模块，用于采用基于RGB颜色模型的蓝色检测模型对上部分图像进行颜色分割后二值化，进而得到颜色分割效果图；
去噪模块，用于通过形态学处理对颜色分割效果图进行去噪；
提取区域模块，用于对颜色分割效果图进行连通域搜索,并结合连通域提取算法和投影边界，对搜索到的连通域进行截取，得到候选区域；
筛选模块，用于对候选区域进行面积判断，进而获得满足预设面积阈值条件的有效候选区域。
10.根据权利要求8所述一种道路指路标志的快速定位系统，其特征在于：所述定位单元包括：
边缘提取模块，用于采用水平方向的Sobelh算子提取有效候选区域的水平边缘；
直线检测模块，用于根据提取的有效候选区域的水平边缘，采用Hough变换直线检测技术检测有效候选区域中是否存在满足预设条件的目标水平长直线；
标志定位模块，用于当检测到有效候选区域中存在满足预设条件的目标水平长直线时，根据具有满足预设条件的目标水平长直线的有效候选区域，定位指路标志。
CN201210024099.XA 2012-02-03 2012-02-03 一种道路指路标志的快速定位方法以及系统 Active CN102609702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210024099.XA CN102609702B (zh) 2012-02-03 2012-02-03 一种道路指路标志的快速定位方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210024099.XA CN102609702B (zh) 2012-02-03 2012-02-03 一种道路指路标志的快速定位方法以及系统

Publications (2)

Publication Number Publication Date
CN102609702A true CN102609702A (zh) 2012-07-25
CN102609702B CN102609702B (zh) 2014-04-02

Family

ID=46527061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210024099.XA Active CN102609702B (zh) 2012-02-03 2012-02-03 一种道路指路标志的快速定位方法以及系统

Country Status (1)

Country Link
CN (1) CN102609702B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136525A (zh) * 2013-02-28 2013-06-05 中国科学院光电技术研究所 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN103440647A (zh) * 2013-08-20 2013-12-11 中山大学 一种车辆遮阳板状态的检测方法
CN105718860A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及系统
CN107203767A (zh) * 2017-05-24 2017-09-26 深圳市神视检验有限公司 一种辅助实现自动化无损检测的方法及装置
CN107218889A (zh) * 2017-05-24 2017-09-29 深圳市神视检验有限公司 一种测量位置的方法及装置
CN107491756A (zh) * 2017-08-17 2017-12-19 武汉大学 基于交通标牌与地面标志的车道转向信息识别方法
CN109085821A (zh) * 2018-06-22 2018-12-25 苏州上善知源汽车电子有限公司 自动驾驶车辆定位方法
CN109557109A (zh) * 2018-12-29 2019-04-02 中国肉类食品综合研究中心 冷冻肉品包装状态的检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
万雅俊: "动态限速标志识别技术研究", 《万方学位论文全文数据库》 *
彭晓庆: "道路交通标志图像处理", 《CNKI中国优秀硕士学位论文全文数据库》 *
郁梅等: "基于彩色图像的指示标志检测", 《计算机工程与应用》 *
陈洪波等: "用改进的Hough变换检测交通标志图像的直线特征", 《光学精密工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136525A (zh) * 2013-02-28 2013-06-05 中国科学院光电技术研究所 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN103136525B (zh) * 2013-02-28 2016-01-20 中国科学院光电技术研究所 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN103440647A (zh) * 2013-08-20 2013-12-11 中山大学 一种车辆遮阳板状态的检测方法
CN105718860A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及系统
CN105718860B (zh) * 2016-01-15 2019-09-10 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及系统
CN107203767A (zh) * 2017-05-24 2017-09-26 深圳市神视检验有限公司 一种辅助实现自动化无损检测的方法及装置
CN107218889A (zh) * 2017-05-24 2017-09-29 深圳市神视检验有限公司 一种测量位置的方法及装置
CN107491756A (zh) * 2017-08-17 2017-12-19 武汉大学 基于交通标牌与地面标志的车道转向信息识别方法
CN107491756B (zh) * 2017-08-17 2019-10-11 武汉大学 基于交通标牌与地面标志的车道转向信息识别方法
CN109085821A (zh) * 2018-06-22 2018-12-25 苏州上善知源汽车电子有限公司 自动驾驶车辆定位方法
CN109557109A (zh) * 2018-12-29 2019-04-02 中国肉类食品综合研究中心 冷冻肉品包装状态的检测方法及装置

Also Published As

Publication number Publication date
CN102609702B (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN102609702B (zh) 一种道路指路标志的快速定位方法以及系统
Wu et al. Lane-mark extraction for automobiles under complex conditions
US9946941B2 (en) Lane detection
EP1796043B1 (en) Object detection
US20190340446A1 (en) Shadow removing method for color image and application
TWI409718B (zh) 移動中車輛之車牌定位方法
CN104036262B (zh) 一种lpr车牌筛选识别的方法和系统
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN103324935B (zh) 一种图像中对车辆进行定位与区域分割的方法与系统
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US10726277B2 (en) Lane line detection method
CN108986129B (zh) 标定板检测方法
CN104978746A (zh) 一种行驶车辆的车身颜色识别方法
CN111046741A (zh) 车道线识别的方法和装置
CN111652033A (zh) 基于OpenCV的车道线检测方法
Hernández et al. Lane marking detection using image features and line fitting model
EP3631675A1 (en) Advanced driver assistance system and method
CN102024264B (zh) 一种基于直方图统计的触摸笔颜色识别方法
JP4936045B2 (ja) 車体色判別装置、方法及びプログラム
KR101402089B1 (ko) 장애물 검출 장치 및 방법
JP2020095623A (ja) 画像処理装置および画像処理方法
US20160188967A1 (en) Pedestrian detecting system
CN107992788B (zh) 识别交通灯的方法、装置及车辆
US10796172B2 (en) Image processing device and image processing method
Xiang et al. Research on target detection method based on HSV fusion Gaussian mixture model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant