CN103699677B - 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法 - Google Patents

一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法 Download PDF

Info

Publication number
CN103699677B
CN103699677B CN201310750894.1A CN201310750894A CN103699677B CN 103699677 B CN103699677 B CN 103699677B CN 201310750894 A CN201310750894 A CN 201310750894A CN 103699677 B CN103699677 B CN 103699677B
Authority
CN
China
Prior art keywords
criminal
video
face
whereabouts
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310750894.1A
Other languages
English (en)
Other versions
CN103699677A (zh
Inventor
周丽娜
韩光洁
秦晨
朱川
顾刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201310750894.1A priority Critical patent/CN103699677B/zh
Publication of CN103699677A publication Critical patent/CN103699677A/zh
Application granted granted Critical
Publication of CN103699677B publication Critical patent/CN103699677B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Ecology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法,所述的系统包括视频采集器、视频人脸识别器、地图绘制器,行动分析模块,地图导航系统5个部分,将人脸识别技术与地图导航技术相结合,通过警方提供的罪犯信息,将照片与所有罪犯照片进行比对,将该罪犯行踪锁定并进行其行踪的定位,将其行踪绘制成实时的3D地图,最终电脑后台系统判断出罪犯的行踪范围,结合导航技术帮助警方快速找到罪犯。

Description

一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法
技术领域
本发明涉及一种人脸识别技术,涉及一种地图导航及其图层绘制的技术,具体说是涉及一种基于人脸识别的罪犯行踪地图绘制系统。
背景技术
随着警务信息化的发展,国内很多城市在各个主要的道路和街道都有高精度的摄像头用于对交通信息的监控。摄像头的存在,使在一些犯罪侦查工作中,起到了很重要的作用。但是很多时候,由于摄像监控中的视频信息繁多,用肉眼观察罪犯行踪不光会消耗很长的时间,同时可能会造成一些细节的遗漏。
人脸识别技术如今应用十分广泛,如人脸识别防盗门,人脸识别的考勤系统等。利用人脸识别系统在全国范围内搜捕逃犯也已成为公安、司法和刑侦的手段。
现如今我们的地图导航技术已经由早期简单的不完整2D呈现地图发展到现在的实景3D导航,2D地图主要呈现了主干路线的方向以及周边景点,但其标注都停留在文字和图标阶段,并不能反映实时的路况,在复杂的交叉路口或者城市街道甚至会让人产生错误的方向感,但3D地图却拥有更大的稳定性,可以排除周边环境和复杂路况的影响,准确指引用户到达目的地。
现如今,很少有将地图导航与警务通视频监控系统相结合,利用人脸识别技术搜索罪犯,并绘制罪犯行动轨迹,推测其运动规律,提高抓捕罪犯的可能性与效率。
发明内容
为了填补地图导航与警务通视频监控系统相结合的空白,本发明的目的是提供一种自动化高的、可有效的识别罪犯行动轨迹并在地图上绘制并分析路线帮助警方追查罪犯的方法。本发明的另一个目的在于提供一种基于人脸识别技术的罪犯行踪地图绘制系统并对一些特殊情况进行分析与说明。
为了解决上述技术问题,本发明的技术方案为:
一种基于人脸识别技术的罪犯行踪地图绘制系统,包括视频采集器、视频人脸识别器、地图绘制器、行动分析模块及地图导航系统5个部分:
所述视频采集器用于通过高精度摄像头组成的城市视频网络采集人脸信息;
所述视频人脸识别器,包括罪犯人脸特征库和视频人脸识别终端,所述人脸识别终端用于将视频信息中的人脸图像进行锐化,过滤,几何校正,灰度处理,最终提取人脸特征数据,与后台已有罪犯人脸特征库进行处理比对;
所述行动分析模块包括抓捕路线绘制模块以及特殊情况处理模块,所述抓捕路线绘制模块用于根据罪犯行踪地图分析罪犯活动范围绘制出警方最佳抓捕路线,所述特殊情况处理模块包括人为原因或非人为原因造成的特殊情况的处理;
所述地图绘制器用于根据行动分析模块传来的数据绘制出罪犯行踪3D实景地图;
所述地图导航系统用于根据绘制的抓捕路线地图协助警方抓捕罪犯,该系统包括实时的地理信息。
所述的特殊情况处理模块包括:
(1)如果罪犯在视频中有乘坐交通工具的活动,视频采集器会根据其车辆的车牌号进行一个双层的锁定提高其准确性;
(2)对于人脸识别中出现的问题,尤其是在罪犯变换了发型,佩戴眼镜以及用遮挡物遮挡阻碍识别时,通过基于视频图像的识别算法分析后尽可能处理掉遮挡物以更好地完成识别;
(3)因为设备像素有限等原因,一旦造成罪犯人脸识别错误或跟踪丢失时重新调用视频采集器的数据进行比对;
(4)在罪犯行径视频采集器无法涉及的区域时,地图绘制器直接绘制标志性建筑缩小罪犯行动范围;
(5)若在一些街道等地方,其绘制最佳抓捕路线效果并非很好,通过绘制罪犯在街道视频监控中出现的次数,可以分析其活动的区域,为警方的抓捕提供帮助。
一种基于人脸识别技术的罪犯行踪地图绘制方法,包括以下步骤:
(1)警察锁定罪犯,并将罪犯照片加载到视频人脸识别器,视频人脸识别器获取其人脸特征。
(2)视频采集器通过城市视频网络,将所有获取的人脸特征数据同步到视频人脸识别器;
(3)后台对人脸图像进行处理,包括对图像进行锐化,过滤,几何校正,灰度处理,最终提取人脸特征数据;
(4)通过人脸识别技术将人脸特征数据与罪犯人脸特征库进行搜索匹配,由初步的辨认,到之后通过阈值计算确认罪犯人脸,如果在视频中存在罪犯,人脸识别系统迅速将信息传送给地图绘制器;
(5)地图绘制器根据人脸识别系统所提供的信息在地图上绘制罪犯的行动情况绘制出罪犯行踪地图并将地图传送给行动分析模块;
(6)行动分析模块根据对罪犯的行车的车道,判断其行驶的方向,并根据分析得到的结论与实时的交通路况信息,绘制各个时刻警务人员抓捕罪犯的最佳路线;
(7)将抓捕罪犯的最佳路线的信息同步到警务人员的智能设备上,在地图导航系统的帮助下警务人员开始罪犯的逮捕;
(8)对于过程中出现的特殊情况,启用上述的特殊情况处理模块。
一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法,其有益效果为:将地图导航技术与城市视频网络相结合,利用人脸识别技术帮助警方锁定罪犯,在警方抓捕罪犯的过程中,利用交通实况与罪犯行动分析所得的实时信息,绘制出路径最佳的抓捕线路,并结合运用导航技术协助警方工作的实施,对于过程中出现的特殊情况,以较佳的方法进行了处理,本发明在锁定罪犯的同时又提高了警方抓捕的工作效率,最终使抓捕罪犯的可能性与效率都有明显的提高。
所述的基于视频图像的识别算法出处:自动人脸识别基本原理。
附图说明:
图1为一种基于人脸识别技术的罪犯行踪地图绘制的系统部署图;
图2为一种基于人脸识别技术的罪犯行踪地图绘制方法的工作流程图。
图中主要附图标记含义为:
1、视频采集器 2、罪犯人脸特征库
3、视频人脸识别终端 4、地图绘制器
5、行动分析模块 6、地图导航系统
具体实施方式:
下面将结合附图,详细说明本发明的具体实施方式:
如图1所示,一种基于人脸识别技术的罪犯行踪地图绘制系统,系统包括视频采集器1、视频人脸识别器、地图绘制器4、行动分析模块5,地图导航系统6;
视频采集器1用于通过高精度摄像头组成的城市视频网络采集人脸信息;
视频人脸识别器,包括罪犯人脸特征库2和视频人脸识别终端3,人脸识别终端用于将视频信息中的人脸图像进行锐化,过滤,几何校正,灰度处理,最终提取人脸特征数据,与后台已有罪犯人脸特征库进行处理比对;
行动分析模块5包括抓捕路线绘制模块以及特殊情况处理模块,抓捕路线绘制模块用于根据罪犯行踪地图分析罪犯活动范围绘制出警方最佳抓捕路线,特殊情况处理模块包括人为原因或非人为原因造成的特殊情况的处理;
地图绘制器4用于根据行动分析模块传来的数据绘制出罪犯行踪3D实景地图;
地图导航系统6用于根据绘制的抓捕路线地图协助警方抓捕罪犯,该系统包括实时的地理信息。
上述特殊情况处理模块包括以下几种处理情况:
(1)如果罪犯在视频中有乘坐交通工具的活动,视频采集器会根据其车辆的车牌号进行一个双层的锁定提高其准确性;
(2)对于人脸识别中出现的问题,尤其是在罪犯变换了发型,佩戴眼镜以及用遮挡物遮挡阻碍识别时,通过基于视频图像的识别算法分析后尽可能处理掉遮挡物以更好地完成识别;
(3)因为设备像素有限等原因,一旦造成罪犯人脸识别错误或跟踪丢失时重新调用视频采集器的数据进行比对;
(4)在罪犯行径视频采集器无法涉及的区域时,地图绘制器直接绘制标志性建筑缩小罪犯行动范围;
(5)若在一些街道等地方,其绘制最佳抓捕路线效果并非很好,通过绘制罪犯在街道视频监控中出现的次数,可以分析其活动的区域,为警方的抓捕提供帮助。
图2为一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法的工作流程图。
如图2所示,一种基于人脸识别技术的罪犯行踪地图绘制的方法为:
(1)警察锁定罪犯,并将罪犯照片加载到视频人脸识别器,视频人脸识别器获取其人脸特征;
(2)视频采集器通过城市视频网络,将所有获取的人脸特征数据同步到视频人脸识别器;
(3)后台对人脸图像进行处理,包括对图像进行锐化,过滤,几何校正,灰度处理,最终提取人脸特征数据;
(4)通过人脸识别技术将人脸特征数据与罪犯人脸特征库进行搜索匹配,由初步的辨认,到之后通过阈值计算确认罪犯人脸, 如果在视频中存在罪犯,人脸识别系统迅速将信息传送给地图绘制器;
(5)地图绘制器根据人脸识别系统所提供的信息在地图上绘制罪犯的行动情况绘制出罪犯行踪地图并将地图传送给行动分析模块;
(6)行动分析模块根据对罪犯的行车的车道,判断其行驶的方向,并根据分析得到的结论与实时的交通路况信息,绘制各个时刻警务人员抓捕罪犯的最佳路线;
(7)将抓捕路线地图同步到警务人员的智能设备上,警务人员开始罪犯的逮捕;
(8)对于过程中出现的特殊情况,启用上述的特殊情况处理模块;
本发明主要将警务通中的视频监控系统通过人脸识别技术识别罪犯,并使用地图,为警方抓捕罪犯提供便利。
以上已以较佳实施例公开了本发明,然其并非用以限制本发明,凡采用等同替代或者等效变化方式所获取的技术方案,均落在本发明的保护范围之内。

Claims (2)

1.一种基于人脸识别技术的罪犯行踪地图绘制系统,其特征在于,所述的系统包括视频采集器、视频人脸识别器、地图绘制器、行动分析模块,地图导航系统;
所述视频采集器用于通过高精度摄像头组成的城市视频网络采集人脸信息;
所述视频人脸识别器,包括罪犯人脸特征库和视频人脸识别终端,所述视频人脸识别终端用于将视频信息中的人脸图像进行锐化,过滤,几何校正,灰度处理,最终提取人脸特征数据,与后台已有罪犯人脸特征库进行处理比对;
所述地图绘制器用于根据视频人脸识别器传来的数据绘制出罪犯行踪3D实景地图;
所述行动分析模块包括抓捕路线绘制模块以及特殊情况处理模块,所述抓捕路线绘制模块用于根据罪犯行踪地图分析罪犯活动范围绘制出警方最佳抓捕路线,所述特殊情况处理模块包括人为原因或非人为原因造成的特殊情况的处理;
所述地图导航系统用于根据绘制的抓捕路线地图协助警方抓捕罪犯,该系统包括实时的地理信息;
所述特殊情况处理模块包括以下几种处理情况:
(1)如果罪犯在视频中有乘坐交通工具的活动,视频采集器会根据其车辆的车牌号进行一个双层的锁定提高其准确性;
(2)对于人脸识别中出现罪犯变换了发型,佩戴眼镜以及用遮挡物遮挡阻碍识别时,通过已有的基于视频图像的识别算法分析后尽可能处理掉遮挡物以更好地完成识别;
(3)因为设备像素有限的原因,一旦造成罪犯人脸识别错误或跟踪丢失时重新调用视频采集器的数据进行比对;
(4)在罪犯行径视频采集器无法涉及的区域时,地图绘制器直接绘制标志性建筑缩小罪犯行动范围;
(5)若在一些街道地方,其绘制最佳抓捕路线效果并非很好,通过绘制罪犯在街道视频监控中出现的次数,可以分析其活动的区域,为警方的抓捕提供帮助。
2.一种基于人脸识别技术的罪犯行踪地图绘制方法,其特征在于,包括以下步骤:
(1)警察锁定罪犯,并将罪犯照片加载到视频人脸识别器,视频人脸识别器获取其人脸特征;
(2)视频采集器通过城市视频网络,将所有获取的人脸特征数据同步到视频人脸识别器;
(3)后台对人脸图像进行处理,包括对图像进行锐化,过滤,几何校正,灰度处理,最终提取人脸特征数据;
(4)通过人脸识别技术将人脸特征数据与罪犯人脸特征库进行搜索匹配,由初步的辨认,到之后通过阈值计算确认罪犯人脸,如果在视频中存在罪犯,人脸识别系统迅速将信息传送给地图绘制器;
(5)地图绘制器根据人脸识别系统所提供的信息在地图上绘制罪犯的行动情况绘制出罪犯行踪地图并将地图传送给行动分析模块;
(6)行动分析模块根据对罪犯的行车的车道,判断其行驶的方向,并根据分析得到的结论与实时的交通路况信息,绘制各个时刻警务人员抓捕罪犯的最佳路线;
(7)将抓捕罪犯的最佳路线的信息同步到警务人员的智能设备上,在地图导航系统的帮助下警务人员开始罪犯的逮捕;
(8)对于过程中出现的特殊情况,启用权利要求1中所述的特殊情况处理模块。
CN201310750894.1A 2013-12-31 2013-12-31 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法 Expired - Fee Related CN103699677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310750894.1A CN103699677B (zh) 2013-12-31 2013-12-31 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310750894.1A CN103699677B (zh) 2013-12-31 2013-12-31 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法

Publications (2)

Publication Number Publication Date
CN103699677A CN103699677A (zh) 2014-04-02
CN103699677B true CN103699677B (zh) 2017-01-04

Family

ID=50361205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310750894.1A Expired - Fee Related CN103699677B (zh) 2013-12-31 2013-12-31 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法

Country Status (1)

Country Link
CN (1) CN103699677B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504353B (zh) * 2015-09-07 2019-12-20 腾讯科技(深圳)有限公司 车辆收费方法和装置
CN106156588A (zh) * 2016-06-30 2016-11-23 合肥指南针电子科技有限责任公司 一种出入境大厅异常处理系统
CN106156735A (zh) * 2016-06-30 2016-11-23 合肥指南针电子科技有限责任公司 一种智能化出入境大厅危机管理方法
CN105915866A (zh) * 2016-06-30 2016-08-31 合肥指南针电子科技有限责任公司 一种出入境智能异常监控方法
CN106203312A (zh) * 2016-06-30 2016-12-07 合肥指南针电子科技有限责任公司 一种智能化出入境管理系统
CN106534798A (zh) * 2016-12-06 2017-03-22 武汉烽火众智数字技术有限责任公司 一种用于安防监控的多维数据综合应用系统及其方法
CN106650652A (zh) * 2016-12-14 2017-05-10 黄先开 基于人脸识别技术的轨迹跟踪系统及其方法
CN107798822A (zh) * 2017-10-27 2018-03-13 上海京颐科技股份有限公司 一种婴儿防盗系统
CN107991972A (zh) * 2017-12-27 2018-05-04 沈阳首视科技有限责任公司 多任务安防监控系统以及联动监控方法
CN110599776A (zh) * 2019-10-15 2019-12-20 福州市协成智慧科技有限公司 一种交通数据处理系统
WO2021102760A1 (zh) * 2019-11-27 2021-06-03 深圳云天励飞技术有限公司 一种人员行为分析方法、装置和电子设备
CN111343419B (zh) * 2020-01-04 2021-07-27 中山市乐式物联科技有限公司 基于社会面监控摄像头的城市安防系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404107A (zh) * 2008-11-19 2009-04-08 公安部第三研究所 基于人脸识别技术的网吧监控报警系统
CN101915585A (zh) * 2010-09-01 2010-12-15 北京千方科技集团有限公司 一种图示化的交通诱导方法及系统
CN102509310A (zh) * 2011-11-18 2012-06-20 上海电机学院 一种结合地理信息的视频追踪分析方法及系统
CN102663577A (zh) * 2012-04-13 2012-09-12 苏州盛世华安智能科技有限公司 一种基于云平台的智慧城市物联系统
CN102968703A (zh) * 2012-10-23 2013-03-13 北京京东世纪贸易有限公司 提供货物运送轨迹的方法和装置以及终端装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404107A (zh) * 2008-11-19 2009-04-08 公安部第三研究所 基于人脸识别技术的网吧监控报警系统
CN101915585A (zh) * 2010-09-01 2010-12-15 北京千方科技集团有限公司 一种图示化的交通诱导方法及系统
CN102509310A (zh) * 2011-11-18 2012-06-20 上海电机学院 一种结合地理信息的视频追踪分析方法及系统
CN102663577A (zh) * 2012-04-13 2012-09-12 苏州盛世华安智能科技有限公司 一种基于云平台的智慧城市物联系统
CN102968703A (zh) * 2012-10-23 2013-03-13 北京京东世纪贸易有限公司 提供货物运送轨迹的方法和装置以及终端装置

Also Published As

Publication number Publication date
CN103699677A (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN103699677B (zh) 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法
CN107563419B (zh) 图像匹配和二维码相结合的列车定位方法
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
WO2018133851A1 (zh) 一种点云数据处理方法、装置及计算机存储介质
CN110785719A (zh) 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
US20160267326A1 (en) Image abstraction system
JP6453488B2 (ja) 人体頭頂部の識別に基づく通行人の統計方法及び装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN102682304A (zh) 一种融合多特征的行人检测方法及装置
US10127458B2 (en) Method and system for categorization of a scene
CN105160884A (zh) 一种融合视频监控和rfid的车辆识别方法及装置
WO2019198076A1 (en) Real-time raw data- and sensor fusion
CN102902957A (zh) 一种基于视频流的自动车牌识别方法
US11978340B2 (en) Systems and methods for identifying vehicles using wireless device identifiers
CN113822285A (zh) 一种用于复杂应用场景的车辆违停识别方法
CN105528626A (zh) 一种rfid读写器和摄像机集成一体机及其应用
CN105448105A (zh) 一种基于巡逻警车的监控系统
CN111881322B (zh) 一种目标搜索方法、装置、电子设备及存储介质
CN106919610A (zh) 车联网数据处理方法、系统及服务器
KR20150042544A (ko) 위치정보를 제공하는 단말기, 위치정보 측정 방법 및 시스템
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
CN103488966A (zh) 一种能够识别实名制车票信息的智能手机
Soilán et al. Automatic road sign inventory using mobile mapping systems
CN112487894A (zh) 基于人工智能的轨道交通保护区自动巡查方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170104

Termination date: 20211231