CN105320938B - 一种夜晚环境下的后方车辆检测方法 - Google Patents
一种夜晚环境下的后方车辆检测方法 Download PDFInfo
- Publication number
- CN105320938B CN105320938B CN201510624090.6A CN201510624090A CN105320938B CN 105320938 B CN105320938 B CN 105320938B CN 201510624090 A CN201510624090 A CN 201510624090A CN 105320938 B CN105320938 B CN 105320938B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- area
- front vehicle
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000009472 formulation Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种夜晚环境下的后方车辆检测方法,具体包括如下步骤:在车辆后方中心位置安装车载相机,利用车载相机的视觉传感器进行采集图像;将从视觉传感器中采集图像进行序列灰度化,并分割出图像中明亮区域;车前灯验证:根据先验知识和透视原理,验证图像中明亮区域是否为车前灯;对获得的车前灯区域,利用车灯匹配原理,确定后方车辆的位置及距离。本发明可以稳定的定位到车辆后方车辆,为驾驶员提供准确的环境信息,找出属于同一车辆的两个匹配的车灯对,以确定后方车辆的位置,仅用视觉信息探测后方车辆,成本低,效率高。
Description
技术领域
本发明属于智能交通技术领域,具体涉及一种夜晚环境下的后方车辆检测方法。
背景技术
目前,在夜晚情况下,为了让驾驶员快速获得后方车辆的行驶状况,需要快速检测后方来车。然而,迄今为止大部分的工作都是集中在白天场景,这些情况下可以用车辆自身的一些信息如边缘特征,颜色特征,阴影特征等,但是因夜晚条件下光线差,车辆特征不明显,检测车辆的工作较少。
发明内容
根据以上现有技术的不足,本发明的目的是提供一种夜晚环境下的后方车辆检测方法,可以稳定的定位到车辆后方车辆,为驾驶员提供准确的环境信息。
为了解决上述技术问题,本发明采用的技术方案为:一种夜晚环境下的后方车辆检测方法,该方法包括以下步骤:步骤一、采集图像,利用视觉传感器进行采集图像;步骤二、图像灰度化,将从视觉传感器中采集图像进行序列灰度化,并分割出图像中明亮区域;步骤三、车前灯验证,验证图像中明亮区域是否为车前灯;步骤四、车灯匹配及车辆定位,对获得的车前灯区域,利用车灯匹配原理,确定后方车辆的位置及距离。
所述步骤一的视觉传感器安装于在车辆后方中心位置的车载相机上,用于拍摄夜间灯光区域,并确定相机的相关参数,以确定后方车辆位置信息。
所述步骤二将采集到的图像灰度化,利用灰度化公式获取灰度图像,用最大类间方差法获取图像分割阈值,以分割图像,提取出图像中的明亮区域。
所述步骤三包括以下步骤:步骤a、判断明亮区域的位置与消失线的关系;步骤b、判断候选区域的纵横比和面积的形状特征;步骤c、判断两个候选区域是否在同一列上;步骤d、判断两个候选区域地面反光。所述步骤a如果在消失线以上,即Cy(L)<DLy,则认为是干扰光源,其中,Cy(L)为候选区域的质心纵坐标位置,DLy为消失线的纵坐标位置。所述步骤b判断候选区域是否满足纵横比H(L)/W(L)≤Thar;面积符合设定阈值,如果不满足,则认为是干扰光源,其中H(L)、W(L)、A(L)分别表示光亮目标物L的高、宽和面积;Thar表示纵横比阈值,为大于1的常数。所述步骤c判断两个候选区域是否在同一列上,l(L2)≤Cx(L1)≤r(L2);l(L1)≤Cx(L2)≤r(L1),式中,Cx(Li)(i=1,2)表示候选区域Li的质心横坐标;l(Li),r(Li)分别表示候选区域Li的最小外接矩形的左右边界的横坐标。所述步骤d如果两候选区域在同一列,假设L2在L1的下方,如果L1和L2满足如下条件:W(L1)≥α·W(L2);W(L2)/H(L2)≤Thar;W(L2)/H(L2)≤Tha;则L2为地面反光,则排除该候选区域,α为0和1之间的常数,Thar,Tha为小于1的正常数;
所述步骤四首先根据两个单灯候选区域的形状和位置关系,可以初步判断其是否是同一辆车上;确定是同一辆车的基础上,利用先验知识确定其是否为车辆的灯对。通过以下方法初步判断其是否是同一辆车上:步骤一、两灯之间的水平距离需要小于最大的车辆宽度,max(l(L1),l(L2))-min(r(L1),r(L2))<Thh;Thh=α×min(W(L1),W(L2));其中,l(Li),r(Li)为灯Li的左和右边缘,W(Li)为灯Li的宽度,α为大于1的常数;步骤二、两车灯候选区域水平位置(min(b(L1),b(L2))-max(t(L1),t(L2)))/min(H(L1),H(L2))<Thp;H(L1),b(Li),t(Li)为Li的高度,下边缘和上边缘,Thp为小于等于1的正常数;步骤三、两车灯候选区域的形状min(H(L1),H(L2))/max(H(L1),H(L2))>Thheight;min(W(L1),W(L2))/max(W(L1),W(L2))>Thwidth,其中Thheight为高度相似性阈值,Thwidth为宽度相似性阈值。通过以下方法确定其是否为车辆的灯对:步骤一、灯对组合框的纵横比W(B)/H(B)≥Thwh,其中W(B),H(B)分别表示组合框B的宽度和高度,Thwh表示纵横比阈值,取车辆的前车灯之间的距离和前车灯高度的比例;步骤二、灯对和组合框的面积比Thlow>(A(L1)+A(L2))/A(B)>Thup,其中A(L1)表示灯的面积,A(B)表示组合框的面积,Thup,Thlow表示面积比的上下限阈值;步骤三、灯对的面积差异max(A(L1),A(L2))/min(A(L1),A(L2))≤Tha,其中,Tha为车灯面积比的阈值。
本发明有益效果是:本发明可以稳定的定位到车辆后方车辆,为驾驶员提供准确的环境信息,找出属于同一车辆的两个匹配的车灯对,以确定后方车辆的位置,仅用视觉信息探测后方车辆,成本低,效率高。
附图说明
下面对本说明书附图所表达的内容及图中的标记作简要说明:
图1是本发明的具体实施方式的原理图。
具体实施方式
下面对照附图,通过对实施例的描述,本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等,作进一步详细的说明,以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
夜晚环境下的后方车辆检测方法,具体包括如下步骤:1)、采集图像:在车辆后方中心位置安装车载相机,利用车载相机的视觉传感器进行采集图像;
2)、图像灰度化:将从视觉传感器中采集图像进行序列灰度化,并分割出图像中明亮区域;
3)、车前灯验证:根据先验知识和透视原理,验证图像中明亮区域是否为车前灯;
4)、车灯匹配及车辆定位:对获得的车前灯区域,利用车灯匹配原理,确定后方车辆的位置及距离。
夜晚环境下的后方车辆检测方法,具体包括如下步骤:
1)、采集图像:在车辆后方中心位置安装车载相机上的视觉传感器,清晰的拍摄夜间灯光区域,测量视觉传感器的位置信息,并确定相机的相关参数,以确定后方车辆位置信息;
2)、图像灰度化:首先将采集到的图像灰度化,灰度化常用公式:
Ig(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y),利用灰度化常用公式对获取的灰度图像用最大类间方差法以获取图像分割阈值,以分割图像,提取出图像中的明亮区域;
3)、车前灯验证:根据先验知识和透视原理,验证图像中明亮区域是否为车前灯:
判断明亮区域的位置与消失线的关系,如果在消失线以上,即Cy(L)<DLy,则认为是干扰光源,Cy(L)为候选区域的质心纵坐标位置,DLy为消失线的纵坐标位置;
判断候选区域的形状特征:
纵横比:H(L)/W(L)≤Thar;面积:
符合一定阈值,如果不满足,则认为是干扰光源,H(L)、W(L)、A(L)分别表示光亮目标物L的高、宽和面积;Thar表示纵横比阈值,为大于1的常数,它的选取可参照真实车辆头灯的纵横比为候选区域所在区域的最小车灯面积阈值,它与目标车辆与自车的距离相关;
在剩下的候选区域中,判断两个候选区域是否在同一列上,即:
l(L2)≤Cx(L1)≤r(L2)
l(L1)≤Cx(L2)≤r(L1)
式中,Cx(Li)(i=1,2)表示候选区域Li的质心横坐标;l(Li),r(Li)分别表示候选区域Li的最小外接矩形的左右边界的横坐标;如果两候选区域在同一列,假设L2在L1的下方,如果L1和L2满足如下条件:
W(L1)≥α·W(L2)
W(L2)/H(L2)≤Thar
W(L2)/H(L2)≤Tha
则L2为地面反光,则排除该候选区域。α为0和1之间的常数,Thar,Tha为小于1的正常数;
4)、对获得的车前灯区域,利用车灯匹配原理,确定后方车辆的位置及距离:
根据两个单灯候选区域的形状和位置关系,可以初步判断其是否是同一辆车上,灯对组合的假设产生规则如下:
(1)、两灯之间的水平距离需要小于最大的车辆宽度,即:
max(l(L1),l(L2))-min(r(L1),r(L2))<Thh
Thh=α×min(W(L1),W(L2))
l(Li),r(Li)为灯Li的左和右边缘,W(Li)为灯Li的宽度,α为大于1的常数;
(2)、两车灯候选区域水平位置差异较小,即:
(min(b(L1),b(L2))-max(t(L1),t(L2)))/min(H(L1),H(L2))<Thp
H(L1),b(Li),t(Li)为Li的高度,下边缘和上边缘,Thp为小于等于1的正常数,
(3)、两车灯候选区域的形状相似性,即:
min(H(L1),H(L2))/max(H(L1),H(L2))>Thheight
min(W(L1),W(L2))/max(W(L1),W(L2))>Thwidth
其中Thheight为高度相似性阈值,Thwidth为宽度相似性阈值。
在车灯候选区域组合后,利用先验知识确定其是否为车辆的灯对。
灯对组合框的纵横比要在一定范围内,即:
W(B)/H(B)≥Thwh
其中W(B),H(B)分别表示组合框B的宽度和高度,Thwh表示纵横比阈值,其值一般取车辆的前车灯之间的距离和前车灯高度的比例。
灯对和组合框的面积比在一定范围内,即:
Thlow>(A(L1)+A(L2))/A(B)>Thup
其中A(L1)表示灯的面积,A(B)表示组合框的面积,Thup,Thlow表示面积比的上下限阈值,
因实际车辆宽度在1.2m~2.5m之间,其在图像空间中有一定的像素数量,且成一定比例,为此,计算车辆的像素宽度:
其中Wp,WR分别表示车辆的像素宽度和真实宽度,d表示车辆与自车的距离,h表示相机的安装高度,ax,ay分别表示相机的径向畸变和切向畸变系数。
此外,同一车辆上的两个车灯的面积差异较小,即:
max(A(L1),A(L2))/min(A(L1),A(L2))≤Tha
其中,Tha为车灯面积比的阈值;
为了减少误判情况,灯对之间不能有平行的单灯,且灯对之间不能重叠,即:
l(B)≤Cx(L)≤r(B)
t(B)≤Cy(L)≤b(B)
其中,t(B),b(B),l(B),r(B)为灯对B的上下左右位置,Cx(L),Cy(L)为车灯L质心的横纵坐标,如果灯对B1处于另一个灯对B2范围内,即:
l(B2)≤Cx(B1)≤r(B2)
t(B2)≤Cy(B1)≤b(B2)
则灯对B1为误识别灯对。
上面结合附图对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (9)
1.一种夜晚环境下的后方车辆检测方法,其特征在于,该方法包括以下步骤:
步骤一、采集图像,利用视觉传感器进行采集图像;
步骤二、图像灰度化,将从视觉传感器中采集图像进行序列灰度化,并分割出图像中明亮区域;
步骤三、车前灯验证,验证图像中明亮区域是否为车前灯;
步骤四、车灯匹配及车辆定位,对获得的车前灯区域,利用车灯匹配原理,确定后方车辆的位置及距离;
所述步骤三包括以下步骤:
步骤a、判断明亮区域的位置与消失线的关系;
步骤b、判断候选区域的纵横比和面积的形状特征;
步骤c、判断两个候选区域是否在同一列上;
步骤d、判断两个候选区域地面反光。
2.根据权利要求1所述的夜晚环境下的后方车辆检测方法,其特征在于,所述步骤一的视觉传感器安装于在车辆后方中心位置的车载相机上,用于拍摄夜间灯光区域,并确定相机的相关参数,以确定后方车辆位置信息。
3.根据权利要求1所述的夜晚环境下的后方车辆检测方法,其特征在于,所述步骤二将采集到的图像灰度化,利用灰度化公式获取灰度图像,用最大类间方差法获取图像分割阈值,以分割图像,提取出图像中的明亮区域。
4.根据权利要求1所述的夜晚环境下的后方车辆检测方法,其特征在于,所述步骤a如果在消失线以上,即则认为是干扰光源,其中,为候选区域的质心纵坐标位置,为消失线的纵坐标位置。
5.根据权利要求1所述的夜晚环境下的后方车辆检测方法,其特征在于,所述步骤b判
断候选区域是否满足纵横比;面积;符合设定阈值,如果不
满足,则认为是干扰光源,其中分别表示光亮目标物的高、宽和
面积;表示纵横比阈值,为大于1的常数,为候选区域所在区域的最小车灯面积阈
值。
6.根据权利要求1所述的夜晚环境下的后方车辆检测方法,其特征在于,所述步骤c判
断两个候选区域是否在同一列上, 式中,表示候选区域的质心横坐标;分别表示候选区域的
最小外接矩形的左右边界的横坐标,所述步骤d如果两候选区域在同一列,假设在的
下方,如果和满足如下条件:;;;则为地面反光,则排除该候选区域,为0和1之间的常数,为小于1的正常数。
7.根据权利要求1所述的夜晚环境下的后方车辆检测方法,其特征在于,所述步骤四首先根据两个单灯候选区域的形状和位置关系,可以初步判断其是否是同一辆车上;确定是同一辆车的基础上,利用先验知识确定其是否为车辆的灯对。
8.根据权利要求7所述的夜晚环境下的后方车辆检测方法,其特征在于,通过以下方法初步判断其是否是同一辆车上:
步骤一、两灯之间的水平距离需要小于最大的车辆宽度,其中,
为灯的左和右边缘, 为灯的宽度,为大于1的常数;
步骤二、两车灯候选区域水平位置为
的高度,下边缘和上边缘,为小于等于1的正常数;
步骤三、两车灯候选区域的形状 其中为高度相似性
阈值,为宽度相似性阈值。
9.根据权利要求7所述的夜晚环境下的后方车辆检测方法,其特征在于,通过以下方法确定其是否为车辆的灯对:
步骤一、灯对组合框的纵横比其中分别表示组合框B的宽度和高度,表示纵横比阈值,取车辆的前车灯之间的距离和前车灯高度的比例;
步骤二、灯对和组合框的面积比其中表示灯的面积,表示组合框的面积,表示面积比的上下限阈
值;
步骤三、灯对的面积差异其中,为车灯面积比的阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510624090.6A CN105320938B (zh) | 2015-09-25 | 2015-09-25 | 一种夜晚环境下的后方车辆检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510624090.6A CN105320938B (zh) | 2015-09-25 | 2015-09-25 | 一种夜晚环境下的后方车辆检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105320938A CN105320938A (zh) | 2016-02-10 |
CN105320938B true CN105320938B (zh) | 2018-11-02 |
Family
ID=55248293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510624090.6A Expired - Fee Related CN105320938B (zh) | 2015-09-25 | 2015-09-25 | 一种夜晚环境下的后方车辆检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105320938B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7114965B2 (ja) * | 2017-07-14 | 2022-08-09 | 富士通株式会社 | ターゲット検出方法、装置及び画像処理装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102280030A (zh) * | 2011-07-20 | 2011-12-14 | 杭州海康威视软件有限公司 | 夜晚车辆检测的方法及其系统 |
CN102779430A (zh) * | 2011-05-12 | 2012-11-14 | 德尔福技术有限公司 | 基于视觉的夜间后碰撞警告系统、控制器及其操作方法 |
CN103150898A (zh) * | 2013-01-25 | 2013-06-12 | 大唐移动通信设备有限公司 | 一种夜间车辆检测方法、跟踪方法及装置 |
CN103208185A (zh) * | 2013-03-19 | 2013-07-17 | 东南大学 | 一种基于车灯识别的夜间车辆检测方法及系统 |
CN103914701A (zh) * | 2014-03-20 | 2014-07-09 | 燕山大学 | 一种基于图像的夜间车辆检测方法 |
CN103984917A (zh) * | 2014-04-10 | 2014-08-13 | 杭州电子科技大学 | 一种基于机器视觉的多特征夜间车辆检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9569680B2 (en) * | 2012-02-02 | 2017-02-14 | Xerox Corporation | Automated running-engine detection in stationary motor vehicles |
-
2015
- 2015-09-25 CN CN201510624090.6A patent/CN105320938B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779430A (zh) * | 2011-05-12 | 2012-11-14 | 德尔福技术有限公司 | 基于视觉的夜间后碰撞警告系统、控制器及其操作方法 |
CN102280030A (zh) * | 2011-07-20 | 2011-12-14 | 杭州海康威视软件有限公司 | 夜晚车辆检测的方法及其系统 |
CN103150898A (zh) * | 2013-01-25 | 2013-06-12 | 大唐移动通信设备有限公司 | 一种夜间车辆检测方法、跟踪方法及装置 |
CN103208185A (zh) * | 2013-03-19 | 2013-07-17 | 东南大学 | 一种基于车灯识别的夜间车辆检测方法及系统 |
CN103914701A (zh) * | 2014-03-20 | 2014-07-09 | 燕山大学 | 一种基于图像的夜间车辆检测方法 |
CN103984917A (zh) * | 2014-04-10 | 2014-08-13 | 杭州电子科技大学 | 一种基于机器视觉的多特征夜间车辆检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105320938A (zh) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105426864B (zh) | 一种基于等距边缘点匹配的多车道线检测方法 | |
Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
US8744194B2 (en) | Boundary line recognition apparatus | |
US8385601B2 (en) | In-vehicle white line recognition apparatus | |
CN105698812B (zh) | 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法 | |
CN103077384B (zh) | 一种车标定位识别的方法与系统 | |
Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
US20130027511A1 (en) | Onboard Environment Recognition System | |
US10339396B2 (en) | Vehicle accessibility determination device | |
CN103902985B (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
CN107016362B (zh) | 基于车辆前挡风玻璃粘贴标志的车辆重识别方法和系统 | |
CN102567705A (zh) | 一种检测和跟踪夜间行驶车辆的方法 | |
CN104598912A (zh) | 一种基于cpu与gpu协同计算的交通灯检测识别方法 | |
CN105046198A (zh) | 一种车道检测方法 | |
CN106326822A (zh) | 车道线检测的方法及装置 | |
CN101936730A (zh) | 车辆排队长度检测的方法及装置 | |
CN102609702B (zh) | 一种道路指路标志的快速定位方法以及系统 | |
CN109447093B (zh) | 基于yuv图像的车尾灯检测方法 | |
CN111723778B (zh) | 基于MobileNet-SSD的车辆测距系统及方法 | |
US20150262020A1 (en) | Marking line detection system | |
CN107563301A (zh) | 基于图像处理技术的红灯信号检测方法 | |
CN107563331A (zh) | 一种基于几何关系的道路标志线检测方法及系统 | |
JP2019020956A (ja) | 車両周囲認識装置 | |
CN112927283A (zh) | 测距方法及装置、存储介质及电子设备 | |
CN110674672A (zh) | 一种基于tof相机的多场景人数统计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181102 Termination date: 20190925 |