CN101881615B - 用于驾驶安全的视觉障碍物检测方法 - Google Patents
用于驾驶安全的视觉障碍物检测方法 Download PDFInfo
- Publication number
- CN101881615B CN101881615B CN2010101912711A CN201010191271A CN101881615B CN 101881615 B CN101881615 B CN 101881615B CN 2010101912711 A CN2010101912711 A CN 2010101912711A CN 201010191271 A CN201010191271 A CN 201010191271A CN 101881615 B CN101881615 B CN 101881615B
- Authority
- CN
- China
- Prior art keywords
- barrier
- frame image
- current frame
- image
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004888 barrier function Effects 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 title abstract 2
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 14
- 206010047571 Visual impairment Diseases 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000004883 computer application Methods 0.000 abstract 1
- 238000011161 development Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及用于驾驶安全中的道路障碍物检测方法,属于计算机应用技术领域,该方法包括:首先车辆上的摄像头对前方路面进行采集,然后提取图像中的角点,并利用光流与K均值对障碍物初步估计,得到障碍物的候选中心位置以及大小;然后利用基于帧差的运动历史消隐法排除前面结果中运动速度不合理的区域,这样得到更加鲁棒的障碍物中心,然后把两种方法结果取并运算,在确认后的障碍物中心周围取区域边界作为每个障碍物的边界。本发明仅使用普通摄像头,实现简易低廉,该方法计算速度快,比较稳定且环境适应能力强。
Description
技术领域
本发明属于计算机应用技术领域,特别涉及到车辆驾驶安全领域的障碍物检测方法。
背景技术
随着各国向汽车社会快速迈进的步伐,汽车技术特别是汽车安全技术受到越来越受多的重视。除了传统汽车行业中对汽车安全起决定作用的机电控制、汽车电子、机械零件、发动机等关键技术之外,各种辅助性技术也成为汽车安全驾驶的一个有效补充。
目前,基于IT技术的汽车安全驾驶辅助系统是汽车安全驾驶的一个研究热点。利用IT行业的研究成果,为汽车安全驾驶提供辅助性的支持,从而增强汽车在安全方面的人性化特征,达到辅助驾驶安全的目的。统计资料表明,驾驶员的人为因素导致的公路交通事故率最高。无论是事故数量,还是伤亡人数均分别高达各自总数的90%左右。并且,在导致这些公路交通事故的驾驶员的人为因素中,疲劳和精神分散驾驶是重要原因之一。驾驶员在3-5秒时间内的注意力不集中,造成了其中80%的交通事故,主要表现为道路偏离和追尾事故。研究显示,若在公路交通事故发生前的1.5秒给驾驶员发出预警,则可避免90%的这类事故。因此,利用技术手段分析车道、周围车辆的状况等驾驶环境信息,一旦当驾驶员发生疲劳及精神分散、汽车出现无意识的道路偏离、车距过近存在追尾可能时,能够及时给予驾驶安全预警,是减少公路交通事故行之有效的技术措施,具有重大的经济、社会价值。
从硬件设备上看,在国内外的各种类型的研究中,路况检测技术主要分为两类:一类是基于视觉传感器的路况检测技术,另一类是基于非视觉的其它传感器检测技术。其中,基于非视觉传感器的检测技术发展空间有限,主要受到传感器的机械性能、物理性能的制约,需要得到相关学科发展的促进。而基于视觉传感器的检测技术由于IT技术的飞速发展而得到了广泛的重视。
意大利帕尔马大学研制的ARGO实验车装备有摄像机、霍尔效应传感器、IO接口板、信息输出设备和奔腾200MMX的PC机。其核心是由奔腾200MMX的PC机实现的GOLD视觉系统(Generic Obstacle and Lane Detection),该系统根据2个前向摄像机采集的图像,检测一般障碍物和结构化环境中车道的位置,检测速度为100ms。并实现几何变换消除左右图像的透视效应;左图像通过一系列形态学的处理用于检测白线,右图像用于检测障碍物,以确定车前的可行驶区域。
德国研究与技术部门与大众汽车公司于1992年合作研制成的Caravelle系统应用于大众公司的Caravelle旅行车,主要研究高速公路下的视觉导航。Caravelle系统包括传感器系统、执行机构和计算机系统;其中,传感器系统除包括两台摄像机外,还包括一个速度传感器和一个测量驾驶角的传感器。两台摄像机中一台装有摄远镜头的用来检测障碍,另一台装有广角镜头的用来检测行车道。执行机构为方向力矩电机和电子油门。计算机系统由两台PC组成,一台完成图像处理、卡尔曼动态滤波、车体控制,另一台PC完成系统自举、监控等功能。92年公布的材料显示该系统从识别一帧图像到完成控制的周期为70ms。
从发展趋势来看,在其它传感器发展缓慢的今天,基于视觉传感器的IT处理技术将承担汽车安全辅助的主要任务,具有广阔的发展空间。而多传感器融合的技术方案也将提高视觉系统的性能。所以,对汽车安全驾驶具有实际应用价值的路况监测技术也将以视觉传感器为核心,以多传感器融合的技术方案得到深入广泛的发展。
中国专利(2007101665162.0)公开了一种障碍物的监测方法及其系统,使用水平激光照射路面,然后用摄像头采集指定路面的图像是否存在激光反射特征判断路面是否存在障碍物,但是该方法,会对路面环境造成光干扰,并且需要激光设备,系统复杂。
中国专利(200910049885.3)公开了一种自动识别道路深坑与障碍物的车辆智能装置,使用双目针孔摄像头采集图像,通过双目视觉的方法判断道路前方高度是否异常,对深坑以及路面物体给出报警,
目前计算机视觉中三种已有的处理方法:KLT(Kanade-Lucas-Tomasi)跟踪方法、K均值聚类法以及历史运动消隐法,分别说明如下:
KLT跟踪方法是计算视觉中一种重要的目标跟踪方法,它首先在待跟踪目标上提取具有一下特征的点(下称角点):角点提取采用如下算法:对于当前帧图像内的每一个点计算出矩阵Z:
其中,gx表示图像在位置(x,y)处亮度的一阶水平方向导数,gy表示图像在位置(x,y)处亮度的一阶竖直方向导数。再计算该矩阵的特征值λ1和λ2,如果λ1,λ2的最小值大于设定阈值λ,认为是角点,否则不是角点,阈值的设定根据实验效果调整得到。
提取出当前帧图像的角点后,使用下面方法在后一帧图像中找到当前帧图像各角点新的对应位置:
设定一个固定搜索窗口大小宽度为wx,高度为wy,设当前图像(x,y)处的亮度为I(x,y),后一帧图像(x,y)处的亮度为J(x,y),对于每个角点,对于它的所有偏移(dx,dy)计算下面值,取使ε(d)值最小的(dx,dy)为该角点从当前帧到后一帧的运动位移。
K均值聚类算法基本思想是先进行粗略的分类,然后按照某种最优的原则修改不合理的分类,直至分类比较合理为止,形成最终的分类结果。K-均值聚类把点到聚类中心的某种距离(如欧式距离)和作为优化的目标函数,采用函数求极值的方法得到迭代运算的调整规则。K均值聚类需要根据实际情况预先给定待聚类数K。
历史运动消隐法中图像定义如下,对于第k帧图像(x,y)处,对应的历史运动图像mhi在该处的值为:
其中silh是用当前帧图像与前一帧相减的二值化图像,T为当前时间,AT是控制消隐速度的时间阈值,根据实验中的效果来设定。mhi中运动发生的象素点被设置为当前时间戳,而运动发生较久的象素点被清除,反应了当前时间附近各个点的累积运动程度。然后计算运动历史图像mhi的各个连通域,即可得到障碍物的位置、大小、形状等信息。
发明内容
本发明的目的是为克服已有技术的不足之处,提出一种用于驾驶安全的视觉障碍物检测方法,仅使用普通摄像头,实现简易低廉,该方法计算速度快,比较稳定且环境适应能力强。
本发明的用于驾驶安全的视觉障碍物检测方法,其特征在于,包括如下步骤
(1)采集视频图像:通过采集车外视频图像的摄像头实时采集车外视屏图像;
(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓;
(3)采用基于帧差的历史运动消隐法检测得到当前帧图像中多个候选障碍物中心和轮廓;
(4)对步骤(2)、(3)得到的两种结果求交集运算,交集运算结果作为最终障碍物的中心区域;
(5)在步骤(2)、(3)得到的两种结果中搜索与步骤(4)得到的障碍物中心区域相连的区域,将这些区域与对应的中心区域组成当前帧图像的各个障碍物的边界,作为障碍物检测结果,转步骤(1)。
本发明的特点及有益效果:
本发明的特点为:首先车辆上的摄像头对前方路面进行采集,然后提取图像中的角点,并利用光流与K均值对障碍物初步估计,得到障碍物的候选中心位置以及大小;然后利用基于帧差的运动历史消隐法排除前面结果中运动速度不合理的区域,这样得到更加鲁棒的障碍物中心,然后把两种方法结果进行并运算,在确认后的障碍物中心周围取区域边界作为每个障碍物的边界。
本发明的有益效果为:仅使用普通分辨率视频图像采集设备,不使用除摄像头之外的额外传感器,且简单易行,且不会对路面造成污染。
本方法选用了适于移动计算设备的计算视觉技术,仅使用单目视觉方法推算障碍物的高度,计算速度比双目视觉快速,且本方法使用两种视觉方法进行双重确认,检测效果更加稳定准确,环境适应性好。
附图说明
图1为本发明方法采用的汽车道路障碍物监测实施例结构示意图。
图2为本发明的道路障碍物检测方法流程图。
图3为本发明采用KLT跟踪方法与K均值聚类法得到候选障碍物中心和轮廓流程图。
具体实施方式
本发明提出的用于驾驶安全的视觉障碍物检测方法,结合附图及实施例详细说明如下:
本发明方法的具体实施方式是在被保护的汽车内安装有采集车外视频图像的摄像头以及与其相连的计算机,该计算机上存储有预先编制的按本发明方法实现的障碍物检测程序,摄像头采用普通USB网络摄像头,计算机使用1.2GHz CPU处理器。摄像头安装实施例如图1所示,摄像头1对准汽车2前方,以图像下边缘刚刚超过车头3线为准(图中虚线标示出摄像头对准的方向和车外视频图像采集的范围)。
本发明的用于驾驶安全的视觉障碍物检测方法实施例流程如图2所示,包括如下步骤:
(1)采集视频图像:通过采集车外视频图像的摄像头实时采集车外视屏图像,所采集图像的大小规格由摄像头驱动决定,最常用的是320×240和640×480两种大小规格。本实施例中,所采集图像的大小规格为320×240像素;
(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓,如图3所示,具体包括以下步骤:
A.在步骤(1)采集的当前帧图像中提取路面区域的角点位置信息;
B.根据当前帧图像的角点数以及上一帧图像中检测得到的障碍物个数估计当前帧图像待聚类数K;K的确定方法如下:
其中,Kj表示第j帧估计的聚类数,用于第四步中的聚类,表示第j-1帧检测到的障碍物数;K0为起始帧图像的障碍物估计数,M0为起始帧图像内检测到的角点数。
C.根据当前帧图像及下一帧图像利用KLT算法计算当前帧图像的角点的运动位移;
D.将当前帧图像的角点位置信息及其运动位移组成一个多维向量,采用K均值法进行聚类,将当前帧图像的角点划分成K个集合,每个集合的中心为候选障碍物中心,集合的边界为候选障碍物轮廓;
(3)采用基于帧差的历史运动消隐法检测得到当前帧图像中多个候选障碍物中心和轮廓;
(4)对步骤(2)、(3)得到的两种结果求交集运算,交集运算结果作为最终障碍物的中心区域;
(5)在步骤(2)、(3)得到的两种结果中搜索与步骤(4)得到的障碍物中心区域相连的区域,将这些区域与对应的中心区域组成当前帧图像的各个障碍物的边界,作为障碍物检测结果,转步骤(1)。
Claims (2)
1.一种用于驾驶安全的视觉障碍物检测方法,其特征在于,包括如下步骤
(1)采集视频图像:通过采集车外视频图像的摄像头实时采集车外视屏图像;
(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓;
(3)采用基于帧差的历史运动消隐法检测得到当前帧图像中多个候选障碍物中心和轮廓;
(4)对步骤(2)、(3)得到的两种结果求交集运算,交集运算结果作为最终障碍物的中心区域;
(5)在步骤(2)、(3)得到的两种结果中搜索与步骤(4)得到的障碍物中心区域相连的区域,将这些区域与对应的中心区域组成当前帧图像的各个障碍物的边界,作为障碍物检测结果,转步骤(1)。
2.如权利要求1所述用于驾驶安全的视觉障碍物检测方法,其特征在于,所述步骤(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓,具体包括以下步骤:
A.在步骤(1)采集的当前帧图像中提取路面区域的角点位置信息;
B.根据当前帧图像的角点数以及上一帧图像中检测得到的障碍物个数估计当前帧图像待聚类数K;K的确定方法如下:
C.根据当前帧图像及下一帧图像利用KLT算法计算当前帧图像的角点的运动位移;
D.将当前帧图像的角点位置信息及其运动位移组成一个多维向量,采用K均值法进行聚类,将当前帧图像的角点划分成K个集合,每个集合的中心为候选障碍物中心,集合的边界为候选障碍物轮廓。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101912711A CN101881615B (zh) | 2010-05-28 | 2010-05-28 | 用于驾驶安全的视觉障碍物检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101912711A CN101881615B (zh) | 2010-05-28 | 2010-05-28 | 用于驾驶安全的视觉障碍物检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101881615A CN101881615A (zh) | 2010-11-10 |
CN101881615B true CN101881615B (zh) | 2012-07-11 |
Family
ID=43053687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101912711A Expired - Fee Related CN101881615B (zh) | 2010-05-28 | 2010-05-28 | 用于驾驶安全的视觉障碍物检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101881615B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514427B (zh) * | 2012-06-15 | 2016-12-21 | 株式会社理光 | 车辆检测方法和系统 |
CN104380039B (zh) | 2012-07-31 | 2017-11-17 | 哈曼国际工业有限公司 | 使用单个相机检测障碍物的系统和方法 |
CN103268589A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于移动终端前置摄像头的体感交互方法 |
CN104760537A (zh) * | 2015-04-21 | 2015-07-08 | 重庆大学 | 一种新型车载安全驾驶辅助系统 |
CN104833364B (zh) * | 2015-05-07 | 2018-05-18 | 深圳市爱民科技有限公司 | 一种在颠簸道路上的安全路线指示方法 |
CN104881645B (zh) * | 2015-05-26 | 2018-09-14 | 南京通用电器有限公司 | 基于特征点互信息量和光流法的车辆前方目标的检测方法 |
CN106934333B (zh) * | 2015-12-31 | 2021-07-20 | 芋头科技(杭州)有限公司 | 一种手势识别方法及系统 |
CN110234563B (zh) * | 2017-04-28 | 2022-04-15 | 深圳市元征科技股份有限公司 | 一种救灾车的自动行驶方法及装置 |
CN107238838B (zh) * | 2017-07-26 | 2019-11-05 | 北京经纬恒润科技有限公司 | 一种道路障碍物检测方法和车载设备 |
CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
US10914813B2 (en) * | 2018-08-21 | 2021-02-09 | Aptiv Technologies Limited | Classifying potentially stationary objects tracked by radar |
CN109993107B (zh) * | 2019-03-29 | 2022-11-22 | 安徽工程大学 | 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法 |
CN110047093B (zh) * | 2019-04-23 | 2021-04-27 | 南昌航空大学 | 高精度边缘保护型rgbd场景流估计方法 |
CN110889362B (zh) * | 2019-11-21 | 2022-12-20 | 大连理工大学 | 一种利用栅格地图高度信息的障碍物检测方法 |
CN111582173A (zh) * | 2020-05-08 | 2020-08-25 | 东软睿驰汽车技术(沈阳)有限公司 | 一种自动驾驶的方法及系统 |
CN112348827B (zh) * | 2020-10-26 | 2021-07-13 | 深圳市瑞云科技有限公司 | 一种基于聚类算法的vr游戏系统和方法 |
WO2022204905A1 (zh) * | 2021-03-30 | 2022-10-06 | 华为技术有限公司 | 一种障碍物检测方法及装置 |
CN114399741B (zh) * | 2021-12-03 | 2024-08-16 | 际络科技(上海)有限公司 | 基于显著性检测的路面障碍物识别方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2356900Y (zh) * | 1998-03-11 | 2000-01-05 | 李炼 | 机动车自动防碰撞装置 |
DE102005039007A1 (de) * | 2005-08-18 | 2007-02-22 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Vorrichtung zur merkmalsbasierten Bewegungsbestimmung |
GB0804466D0 (en) * | 2008-03-11 | 2008-04-16 | Cross Geoffrey | Methdo and apparatus for processing an image |
CN101368828A (zh) * | 2008-10-15 | 2009-02-18 | 同济大学 | 基于计算机视觉的盲人导航方法及系统 |
-
2010
- 2010-05-28 CN CN2010101912711A patent/CN101881615B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2356900Y (zh) * | 1998-03-11 | 2000-01-05 | 李炼 | 机动车自动防碰撞装置 |
DE102005039007A1 (de) * | 2005-08-18 | 2007-02-22 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Vorrichtung zur merkmalsbasierten Bewegungsbestimmung |
GB0804466D0 (en) * | 2008-03-11 | 2008-04-16 | Cross Geoffrey | Methdo and apparatus for processing an image |
CN101368828A (zh) * | 2008-10-15 | 2009-02-18 | 同济大学 | 基于计算机视觉的盲人导航方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101881615A (zh) | 2010-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101881615B (zh) | 用于驾驶安全的视觉障碍物检测方法 | |
US11318928B2 (en) | Vehicular automated parking system | |
EP3176541B1 (de) | Neigungserkennung bei zweirädern | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
CN108437986B (zh) | 车辆驾驶辅助系统及辅助方法 | |
Ogawa et al. | Pedestrian detection and tracking using in-vehicle lidar for automotive application | |
CN110356325B (zh) | 一种城市交通客运车辆盲区预警系统 | |
CN103879404B (zh) | 可追踪移动物体的防撞警示方法及其装置 | |
CN102096803B (zh) | 基于机器视觉的行人安全状态识别系统 | |
CN105825185B (zh) | 车辆防碰撞预警方法及装置 | |
CN102288121B (zh) | 一种基于单目视觉的车道偏离距离测量及预警方法 | |
JP7072133B2 (ja) | 最小アクション量原理に基づく運転者制御動作定量化方法及び装置 | |
CN102685516A (zh) | 立体视觉主动安全辅助驾驶方法 | |
CN202071799U (zh) | 智能化汽车安全警示装置 | |
WO2003001473A1 (en) | Vision-based collision threat detection system_ | |
CN103129468A (zh) | 基于激光成像技术的车载路障识别系统和方法 | |
CN107274678B (zh) | 一种基于Kinect的夜间车流量统计及车型识别方法 | |
CN108974007B (zh) | 确定主动巡航控制的兴趣物体 | |
EP2833096B1 (en) | Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle | |
Taubel et al. | An experimental study of a lane departure warning system based on the optical flow and Hough transform methods | |
CN202911633U (zh) | 基于多信息融合的混合动力车车道标识线动态检测装置 | |
KR20180075985A (ko) | 주행환경 감응형 자율 조향 예측 장치 및 그 방법 | |
Taubel et al. | A lane departure warning system based on the integration of the optical flow and Hough transform methods | |
Kim et al. | An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing | |
Suhr et al. | Dense stereo-based critical area detection for active pedestrian protection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120711 Termination date: 20150528 |
|
EXPY | Termination of patent right or utility model |