CN105023452B - 一种多路交通信号灯信号采集的方法及装置 - Google Patents

一种多路交通信号灯信号采集的方法及装置 Download PDF

Info

Publication number
CN105023452B
CN105023452B CN201410168087.3A CN201410168087A CN105023452B CN 105023452 B CN105023452 B CN 105023452B CN 201410168087 A CN201410168087 A CN 201410168087A CN 105023452 B CN105023452 B CN 105023452B
Authority
CN
China
Prior art keywords
traffic lights
signal
image
signal condition
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410168087.3A
Other languages
English (en)
Other versions
CN105023452A (zh
Inventor
楚甲良
朱杰
王志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ChinaGPS Co Ltd Shenzhen
Original Assignee
ChinaGPS Co Ltd Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ChinaGPS Co Ltd Shenzhen filed Critical ChinaGPS Co Ltd Shenzhen
Priority to CN201410168087.3A priority Critical patent/CN105023452B/zh
Publication of CN105023452A publication Critical patent/CN105023452A/zh
Application granted granted Critical
Publication of CN105023452B publication Critical patent/CN105023452B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多路交通信号灯信号采集的方法及装置,该方法包括:通过摄像头采集包含有交通信号灯的图像;检测图像中的交通信号灯并根据交通信号灯的颜色特征值确定交通信号灯的信号状态,并记录信号状态发生的时间以及信号变化的周期;存储交通信号灯的信号状态、信号状态发生的时间以及信号变化的周期;根据存储的交通信号灯的信号状态、信号状态发生的时间以及信号变化的周期信息产生相应的提示信息。本实发明能够帮助由于长时间驾驶而眼睛疲劳和视力不好的驾驶员快速、准确地识别交通信号灯的信号状态以及信号状态发生的时间。

Description

一种多路交通信号灯信号采集的方法及装置
技术领域
本发明涉及交通技术领域,更具体地说,涉及一种多路交通信号灯信号采集的方法及装置。
背景技术
道路交通信号灯是传递交通管理信息,指示车辆和行人安全有序地通行,改善交通状况,提高通行效率,减少交通事故的重要工具。目前常用的交通信号灯是靠红、黄、绿三种颜色来指示交通通行的。而目前的车辆行驶到交通路口时,只能靠驾驶员目测远处交通信号来获取交通信号灯信号的变化,对于由于长时间驾驶而导致眼睛疲劳和视力不好的驾驶员来说当离交通信号灯较远时,则还是分不清红灯、绿灯还是黄灯,不能快速、准确的识别交通信号灯的状态。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述目前车辆行驶到交通路口时,只能靠驾驶员目测远处交通信号来获取交通信号灯信号的变化,对于由于长时间驾驶而导致眼睛疲劳和视力不好的驾驶员来说当离交通信号灯较远时,则还是分不清红灯、绿灯还是黄灯,不能快速、准确的识别交通信号灯的状态,提供一种多路交通信号灯信号采集的方法及装置。
本发明解决其技术问题所采用的技术方案是:构造一种多路交通信号灯信号采集的方法,包括:
通过摄像头采集包含有交通信号灯的图像;
检测所述图像中的交通信号灯并根据所述交通信号灯的颜色特征值确定所述交通信号灯的信号状态,并记录所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
存储所述交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
根据存储的交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期信息产生相应的提示信息。
在本发明所述的多路交通信号灯信号采集的方法中,检测所述图像中交通信号灯包括:将所述图像均分为若干个区域,对各区域内图像中的像素点进行亮度分析,统计各个区域内图像中各像素点的亮度和,并将所述亮度和与预先设定的阈值相比较,当所述亮度和大于所述阈值则说明该区域中包含有交通信号灯。
在本发明所述的多路交通信号灯信号采集的方法中,还包括通过GPS定位技术获取车辆的位置信息,并根据所述车辆的位置信息和所述摄像头的朝向判断所述图像中交通信号灯的在交通路口所处的位置,所述位置与交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期对应存储。
在本发明所述的多路交通信号灯信号采集的方法中,分析所述区域内图像的颜色特征值包括:
对所述区域内的图像进行预处理,将所述区域内的图像扫描为RGB格式;
提取所述区域内图像的每个像素点的RGB值,然后通过HSV特征提取算法获取所述区域的颜色特征值。
本发明还提供一种多路交通信号灯信号采集的装置,包括:
图像采集模块包括摄像头,用于通过摄像头采集包含有交通信号灯的图像;
图像识别及计算模块,用于检测所述图像中的交通信号灯并根据所述交通信号灯的颜色特征值确定所述交通信号灯的信号状态,并记录所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
存储模块,用于存储所述交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
输出模块,用于根据存储的交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期信息产生相应的提示信息。
在本发明所述的多路交通信号灯信号采集的装置中,所述图像识别及计算模块包括交通信号灯位置检测单元,用于检测所述交通信号灯所处的区域:将所述图像均分为若干个区域,对各区域内图像中的像素点进行亮度分析,统计各个区域内图像中各像素点的亮度和,并将所述亮度和与预先设定的阈值相比较,当所述亮度和大于所述阈值则说明该区域中包含有交通信号灯。
在本发明所述的多路交通信号灯信号采集的装置中,还包括GPS定位模块,所述GPS定位模块与所述图像识别及计算模块和所述存储模块相连,用于通过GPS定位技术获取车辆的位置信息,并根据所述车辆的位置信息和所述摄像头的朝向判断所述图像中交通信号灯的在交通路口所处的位置;所述存储模块将位置与交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期对应存储。
在本发明所述的多路交通信号灯信号采集的装置中,所述图像识别及计算模块还包括:
预处理单元,用于对所述区域内的图像进行预处理,将所述区域内的图像扫描为RGB格式;
特征值提取单元,用于提取所述区域内图像的每个像素点的RGB值,然后通过HSV特征提取算法获取所述区域的颜色特征值。
与现有技术相比,本发明提供的多路交通信号灯信号采集的方法及装置,能够通过图像获取装置获取包含有交通信号灯的图像,然后根据图像识别及计算模块识别出交通信号灯所在区域,并进一步识别交通信号灯的状态、该信号状态发生的时间以及该交通信号灯信号变化的周期,最后根据识别结果输出相应的提示信息,可以对由于长时间驾驶而导致眼睛疲劳和视力不好的驾驶员起到辅助提醒的作用。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明中多路交通信号灯信号采集的方法一较佳实施例的流程图;
图2是本发明中多路交通信号灯信号采集的装置的结构示意图;
图3是本发明中图像识别及计算模块的结构示意图。
附图标记:1—图像采集模块,2—图像识别及计算模块,3—存储模块,4—输出模块,5—GPS定位模块,2a—交通信号灯位置检测单元,2b—预处理单元,2c—颜色特征值提取单元。
具体实施方式
为了解决现有技术中车辆行驶到交通路口时,只能靠驾驶员目测远处交通信号来获取交通信号灯信号的变化,对于近视者来说当离交通信号灯较远时,则还是分不清红灯、绿灯还是黄灯,不能快速、准确的识别交通信号灯的状态的缺陷,本发明提供一种多路交通信号灯信号采集的方法及装置,能够辅助视力不好的驾驶者识别交通信号灯的信号表示、信号状态以及信号状态发生的时间,起到辅助提醒的作用。
本发明的创新点在于,通过图像获取装置获取包含有交通信号灯的图像,然后根据图像识别及计算模块识别出交通信号灯所在的区域,并进一步识别交通信号灯的信号状态、该信号状态发生的时间以及该交通信号灯信号变化的周期,最后根据识别结果输出相应的提示信息,达到了辅助由于长时间驾驶而眼睛疲劳和视力不好的驾驶员快速、准确地识别交通信号灯的信号表示、信号状态以及信号状态发生的时间的目的,解决了现有技术中车辆行驶到交通路口时,只能靠驾驶员目测远处交通信号来获取交通信号灯信号的变化,对于近视者来说当离交通信号灯较远时,则还是分不清红灯、绿灯还是黄灯,不能快速、准确的识别交通信号灯的状态的问题。
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
图1是本发明中多路交通信号灯信号采集的方法一较佳实施例的流程图。参见图1所示,该方法具体包括以下步骤:
步骤S1,通过摄像头采集包含有交通信号灯的图像。在具体实现时可以通过一个摄像设备来采集包含有交通信号灯的图像。在一个实施例中可以将摄像设备安装在车子前部的顶端,如挡风玻璃的顶部等。摄像设备可以采集距离车辆200米范围内的所有交通信号灯的图像。
步骤S2,检测图像中的交通信号灯并根据交通信号灯的颜色特征值确定所述交通信号灯的信号状态,并记录所述信号状态发生的时间以及所述交通信号灯信号变化的周期。在具体实现时我们可以将摄像设备采集到的图像均分为若干个区域,对各区域中的像素点进行亮度分析,统计各个区域的亮度和,并将亮度和与预先设定的阈值相比较,当该区域的亮度和大于预设的阈值时则说明该区域中包含有交通信号灯;然后根据该区域内图像中各像素点的亮度所组成的图形确定交通信号灯的信号标识,信号标识包括:机动车信号灯、非机动车信号标识、人行横道信号灯、车道信号灯、方向指示灯以及闪烁警告信号灯;当确定完区域内交通信号灯的信号标识后,再对该区域内的图像进行预处理,将该区域内的图像扫描为RGB格式;提取该区域内图像的每个像素点的RGB值,然后通过HSV特征提取算法获取该区域的颜色特征值,根据颜色特征值确定并保存该信号标识的信号状态,例如红灯、黄灯或者绿灯。这里需要说明的是由于采集的图像是实时变化的,其包含的交通信号灯的区域部分图像的颜色特征值也是实时变化的,我们可以根据颜色特征值的变化来获取交通信号灯的动态内容,获取交通信号灯信号状态、该信号状态发生的时间以及该交通信号灯信号变化的周期。进一步地,还包括通过GPS定位技术获取车辆的位置信息,并根据所述车辆的位置信息和所述摄像头的朝向判断所述图像中交通信号灯的在交通路口所处的位置。
步骤S3,存储交通信号灯的信号状态,将交通信号灯所处的位置和该交通信号灯的信号状态、该信号状态发生的时间以及该交通信号灯信号变化的周期一一对应存储起来。
步骤S4,根据存储的交通信号灯的信号状态信息产生相应的提示信息。在具体实现时,我们可以根据交通信号灯的状态信息产生相应的声音提示、字幕提示或者图像提示,也可以是上述三种提示方法两两结合的形式进行提示。
综上所述,本实发明提供的多路交通信号灯信号采集的方法通过对交通信号灯的检测和识别可以很好的帮助由于长时间驾驶而眼睛疲劳和视力不好的驾驶员快速、准确地识别交通信号灯的信号状态以及信号状态发生的时间。
图2是本发明中多路交通信号灯信号采集的装置的结构示意图。参见图2所示,本发明提供的一种多路交通信号灯信号采集装置,包括图像采集模块1、图像识别及计算模块2、存储模块3以及输出模块4;其中:
图像采集模块1包括摄像头,该摄像头用于采集包含有交通信号灯的图像;在具体实现时可以通过一个或多个摄像头来采集包含有交通信号灯的图像。在一个实施例中可以将摄像头安装在车子前部的顶端,如挡风玻璃的顶部等。摄像头可以采集距离车辆200米范围内的所有交通信号灯的图像,以便实现多路交通信号的信号采集。
图像识别及计算模块2,用于检测图像中的交通信号灯并根据交通信号灯的颜色特征值确定所述交通信号灯的信号状态,并记录该信号状态发生的时间以及该交通信号灯信号变化的周期。
存储模块3,用于存储交通信号灯的信号状态信息、该信号状态发生的时间以及该交通信号灯信号变化的周期。
输出模块4,用于根据交通信号灯的信号状态、该信号状态发生的时间以及该交通信号灯信号变化的周期信息产生相应的提示信息,在具体实现时,我们可以根据交通信号灯的状态信息产生相应的声音提示、字幕提示或者图像提示,也可以是上述三种提示方法两两结合的形式进行提示。
较佳的,本发明提供的一种多路交通信号灯信号采集装置还可以包括GPS定位模块5,GPS定位模块5与图像识别及计算模块2和存储模块3相连,用于通过GPS定位技术获取车辆的位置信息,并根据车辆的位置信息和所述摄像头的朝向判断图像中交通信号灯的在交通路口所处的位置;存储模块将位置与交通信号灯的信号状态对应存储。
图3是本发明中图像识别及计算模块的结构示意图。参见图3所示,图像识别及计算模块2包括:
交通信号灯位置检测单元2a,用于检测交通信号灯所处的区域:将图像均分为若干个区域,对各区域进行亮度分析,统计各个区域的亮度和,并将亮度和与预先设定的阈值相比较,当亮度和大于阈值则说明该区域中包含有交通信号灯。
预处理单元2b,用于对所述区域内的图像进行预处理,将所述区域内的图像扫描为RGB格式。
特征值提取单元2c,用于提取所述区域内图像的每个像素点的RGB值,然后通过HSV特征提取算法获取所述区域的颜色特征值。
这里需要说明的是由于采集的图像是实时变化的,其包含的交通信号灯的区域部分图像的颜色特征值也是实时变化的,我们可以根据颜色特征值的变化来获取交通信号灯的动态内容,获取交通信号灯的信号信号状态、该信号状态发生的时间以及该交通信号灯信号变化的周期,便于获取的交通信号灯的信号信号状态、该信号状态发生的时间以及该交通信号灯信号变化的周期来进行相应的提示。
综上所述,本实发明提供的多路交通信号灯信号采集装置,可以通过图像识别及计算模块对交通信号灯的检测和识别可以很好的帮助由于长时间驾驶而眼睛疲劳和视力不好的驾驶员快速、准确地识别交通信号灯的信号状态以及信号状态发生的时间。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (4)

1.一种多路交通信号灯信号采集的方法,其特征在于,包括:
通过摄像头采集包含有交通信号灯的图像;
检测所述图像中的交通信号灯并根据所述交通信号灯的颜色特征值确定所述交通信号灯的信号状态,并记录所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
存储所述交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
根据存储的交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期信息产生相应的提示信息;
检测所述图像中交通信号灯包括:将所述图像均分为若干个区域,对各区域内图像中的像素点进行亮度分析,统计各个区域内图像中各像素点的亮度和,并将所述亮度和与预先设定的阈值相比较,当所述亮度和大于所述阈值则说明该区域中包含有交通信号灯;
分析所述区域内图像的颜色特征值包括:
对所述区域内的图像进行预处理,将所述区域内的图像扫描为RGB格式;
提取所述区域内图像的每个像素点的RGB值,然后通过HSV特征提取算法获取所述区域的颜色特征值。
2.根据权利要求1所述的多路交通信号灯信号采集的方法,其特征在于,还包括:通过GPS定位技术获取车辆的位置信息,并根据所述车辆的位置信息和所述摄像头的朝向判断所述图像中交通信号灯的在交通路口所处的位置;
所述位置与交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期对应存储。
3.一种多路交通信号灯信号采集的装置,其特征在于,包括:
图像采集模块(1),用于通过摄像头采集包含有交通信号灯的图像;
图像识别及计算模块(2),用于检测所述图像中的交通信号灯并根据所述交通信号灯的颜色特征值确定所述交通信号灯的信号状态,并记录所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
存储模块(3),用于存储所述交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期;
输出模块(4),用于根据存储的交通信号灯的信号状态信息、所述信号状态发生的时间以及所述交通信号灯信号变化的周期产生相应的提示信息;
所述图像识别及计算模块(2)包括交通信号灯位置检测单元(2a),用于检测所述交通信号灯所处的区域:将所述图像均分为若干个区域,对各区域内图像中的像素点进行亮度分析,统计各个区域内图像中各像素点的亮度和,并将所述亮度和与预先设定的阈值相比较,当所述亮度和大于所述阈值则说明该区域中包含有交通信号灯;
所述图像识别及计算模块还包括:
预处理单元(2b),用于对所述区域内的图像进行预处理,将所述区域内的图像扫描为RGB格式;
特征值提取单元(2c),用于提取所述区域内图像的每个像素点的RGB值,然后通过HSV特征提取算法获取所述区域的颜色特征值。
4.根据权利要求3所述的多路交通信号灯信号采集的装置,其特征在于,还包括GPS定位模块(5),所述GPS定位模块(5)与所述图像识别及计算模块(2)和所述存储模块(3)相连,用于通过GPS定位技术获取车辆的位置信息,并根据所述车辆的位置信息和所述摄像头的朝向判断所述图像中交通信号灯的在交通路口所处的位置;所述存储模块(3)将位置与交通信号灯的信号状态、所述信号状态发生的时间以及所述交通信号灯信号变化的周期对应存储。
CN201410168087.3A 2014-04-24 2014-04-24 一种多路交通信号灯信号采集的方法及装置 Expired - Fee Related CN105023452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410168087.3A CN105023452B (zh) 2014-04-24 2014-04-24 一种多路交通信号灯信号采集的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410168087.3A CN105023452B (zh) 2014-04-24 2014-04-24 一种多路交通信号灯信号采集的方法及装置

Publications (2)

Publication Number Publication Date
CN105023452A CN105023452A (zh) 2015-11-04
CN105023452B true CN105023452B (zh) 2017-09-29

Family

ID=54413384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410168087.3A Expired - Fee Related CN105023452B (zh) 2014-04-24 2014-04-24 一种多路交通信号灯信号采集的方法及装置

Country Status (1)

Country Link
CN (1) CN105023452B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106781582A (zh) * 2016-12-26 2017-05-31 乐视汽车(北京)有限公司 交通信号灯辅助显示方法、装置和车载终端
CN107749185A (zh) * 2017-09-26 2018-03-02 同济大学 一种基于行车记录仪数据的红绿灯信号周期提取方法
CN110910665B (zh) * 2019-11-06 2022-06-17 阿波罗智联(北京)科技有限公司 信号灯控制方法、装置以及计算机设备
CN116631207A (zh) * 2019-11-30 2023-08-22 华为技术有限公司 行车提示方法及相关装置
CN113129617A (zh) * 2019-12-30 2021-07-16 华为技术有限公司 行车提示方法及装置
CN111402610B (zh) * 2020-03-23 2022-05-10 东软睿驰汽车技术(沈阳)有限公司 一种识别红绿灯亮灯状态的方法、装置、设备及存储介质
CN114898583B (zh) * 2022-07-13 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 信号灯控制方案确定方法及智能交通设备的数据处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176287A (zh) * 2011-02-28 2011-09-07 无锡中星微电子有限公司 一种交通信号灯识别系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP5427203B2 (ja) * 2011-03-30 2014-02-26 富士重工業株式会社 車両用運転支援装置
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102012108861A1 (de) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176287A (zh) * 2011-02-28 2011-09-07 无锡中星微电子有限公司 一种交通信号灯识别系统和方法

Also Published As

Publication number Publication date
CN105023452A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
CN105023452B (zh) 一种多路交通信号灯信号采集的方法及装置
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN107967806B (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN109389046B (zh) 用于自动驾驶的全天候物体识别与车道线检测方法
CN104751634B (zh) 高速公路隧道行车图像采集信息的综合应用方法
CN103824037B (zh) 车用防跟踪报警装置
CN111212772A (zh) 用于确定车辆的驾驶策略的方法和设备
US20130077830A1 (en) Traffic sign detecting method and traffic sign detecting device
US20180211121A1 (en) Detecting Vehicles In Low Light Conditions
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN102298693A (zh) 基于计算机视觉的高速公路弯道检测方法
CN107886034B (zh) 行车提醒方法、装置及车辆
US11482012B2 (en) Method for driving assistance and mobile device using the method
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN107909012A (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN111144301A (zh) 一种基于深度学习的道路路面缺陷快速预警装置
JP2012177997A (ja) パッシング内容判定装置
CN107025796A (zh) 汽车辅助驾驶视觉预警系统及其预警方法
CN103324957A (zh) 信号灯状态的识别方法及识别装置
CN112669615B (zh) 一种基于摄像头的停车位检测方法和系统
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
US20230401875A1 (en) Method for recognizing illumination state of traffic lights, electronic device, and storage medium
KR101651061B1 (ko) 차선인식 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170929

Termination date: 20180424

CF01 Termination of patent right due to non-payment of annual fee