CN103400371B - 一种多摄像头协同监控设备及方法 - Google Patents

一种多摄像头协同监控设备及方法 Download PDF

Info

Publication number
CN103400371B
CN103400371B CN201310287859.0A CN201310287859A CN103400371B CN 103400371 B CN103400371 B CN 103400371B CN 201310287859 A CN201310287859 A CN 201310287859A CN 103400371 B CN103400371 B CN 103400371B
Authority
CN
China
Prior art keywords
photographic head
monitoring
target
latitude
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310287859.0A
Other languages
English (en)
Other versions
CN103400371A (zh
Inventor
任永峰
王志坚
曹震
刘天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201310287859.0A priority Critical patent/CN103400371B/zh
Publication of CN103400371A publication Critical patent/CN103400371A/zh
Application granted granted Critical
Publication of CN103400371B publication Critical patent/CN103400371B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种多摄像头协同监控设备,包括摄像头和与摄像头连接的终端服务器,其中终端服务器包括:定位装置、记录装置、分析装置和控制装置;本发明还提供了一种多摄像头协同监控方法,在对摄像头覆盖的范围的地面标定的基础上将整个监控场景分割成若干区域,每一个摄像头监测一个区域,并且在目标出现时对目标进行定位并同时进行追踪和检测,而后将其监测的记录传给终端服务器以备终端服务器中的记录、分析、控制装置对目标的位置和运动状态进行分析并且让终端对多个摄像头进行统一调配使其对目标协同监控。本发明能够在对目标实行连续追踪,同时本发明能够大量的减少人力物力资源的浪费以及对监控人员的困扰。

Description

一种多摄像头协同监控设备及方法
技术领域
本发明涉及一种监控技术,特别涉及一种多摄像头协同监控设备及方法。
背景技术
随着信息技术的发展和普及,摄像头在城市中得到了大规模的铺设。利用这些摄像头进行的监控,对人类社会生活中的安全的保障起到了越来越重要的作用。但是目前对摄像头的利用往往是单独进行的,每个摄像头传递的影像也是独立的场景,缺乏对整体场景的描绘和监控。这点给信息的使用者带来一些困扰,使用者需要对每个独立的场景进行脑力的联想,才能得到整体信息的把握。所以如何让多摄像头进行自动协同工作是目前监控工作的一个发展趋势。
以广场监控为例,广场的面积比较大,一个摄像头无法全面覆盖整个监控区域。广场中往往有一些美观的建筑物,比如雕塑和喷泉,这些建筑物可能会造成一些监控死角,影响监控的效果。如果广场某些移动的目标出现异常情况需要持续跟踪,目标很容易离开当前摄像头的视野范围;而当其再次进入其他摄像头的视野范围时,若要实现再次追踪,会存在一定的困难或者延迟,有时甚至会造成监控目标的丢失。为了提高监控工作的准确性,已有的做法是增加摄像头的单体的个数,提高摄像头的覆盖密度,以达到减少监控死角的目的。但是这样做同时也带来了很大的弊端:
1)提高摄像头的密度,势必造成摄像头的监控范围之间的交错区域增加,从而造成很大的资源浪费。
2)摄像头数量的增加直接后果就是增加监控人员的工作量,有一些不需要的重复监控也在浪费着监控人员的精力,会降低监控人员的反应速率。
3)过多的摄像头同时也造成了数据存储资源的浪费,目标只会在单个摄像头视角内或者两个摄像头视角之间活动,其他摄像头都应处于目标数据非激活状态。
发明内容
发明目的:针对上述现有技术存在的问题和不足,本发明的目的是提供一种在能够妥善完成对监控场景实时监控的前提下有效节约人力、物力资源的多摄像头的监控设备及方法。
技术方案:为实现上述发明目的,本发明提供了一种多摄像头协同监控设备,包括摄像头和与摄像头连接的终端服务器,其中所述终端服务器中包括:定位装置、记录装置、分析装置和控制装置;
所述定位装置,通过运用地平面标定法测量图像中目标与基准点的距离等信息来确定目标的位置信息;
所述记录装置,用于接收每个摄像头监控的画面并存储监控记录;
所述控制装置,让用户对监控的画面中的目标进行指定并根据所述分析装置的分析结果激活相应摄像头;
所述分析装置,通过记录装置中存储的监控目标的运动状态以及当前位置来分析监控目标的运动轨迹;
所述定位装置、记录装置、控制装置和分析装置相互连接,其中所述记录装置、分析装置和控制装置分别与摄像头连接;
本发明还提供了一种多摄像头协同监控方法,包括如下步骤:
步骤1:确定摄像头所能覆盖的监控范围并采用地面标定法进行标定;
步骤2:根据步骤1中标定好的每个摄像头所能监控的区域、分配摄像头使之能够覆盖监控区域;
步骤3:架设好摄像头后在后台设置一个终端服务器,所述终端服务器包涵定位装置、记录装置、分析装置和控制装置;每一个摄像头监测一个方形区域,相应区域内的摄像头对该区域内的场景进行监控,并且在目标出现时对目标进行定位并同时进行追踪和检测,而后还需将其监测的记录传给终端服务器以备终端服务器中的记录、分析、控制装置对目标的位置和运动状态进行分析并且让终端对多个摄像头进行统一调配使其对目标协同监控。
其中,一种多摄像头协同监控设备及方法中所述地面标定法为:运用经纬仪测量每个摄像头的经纬度,然后根据摄像头的设置高度和角度以及摄像头本身的参数获取每个摄像头覆盖的地平面范围的经纬度值。
工作原理:首先,服务器利用定位装置对多个摄像头利用地平面标定法进行定位安装,然后利用记录装置对多个摄像头传递的视频进行保存,最后利用分析装置在控制装置对目标进行指定的基础上对多个摄像头返回的视频进行分析,得出指定目标的运动轨迹,控制装置根据分析装置返回的结果激活相应摄像头进行后续监控。整个过程即为一个完整协同监控的循环。
有益效果:本发明与现有技术相比,通过定位、分析和控制装置使整个设备能够依靠多摄像头的协同监控对目标实行连续追踪,同时本发明能够大量的减少人力物力资源的浪费以及对监控人员的困扰。
附图说明
图1为摄像头工作示意图;
图2为摄像头工作区俯视图;
图3为摄像头工作区侧视图;
图4为摄像头工作区主视图;
图5为多摄像头监控设备的监控示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
多摄像头协同监控方法,具体步骤如下:
步骤1:确定摄像头所能覆盖的监控范围然后进行覆盖范围标定。
如图1所示,对于一台确定的摄像头,其电荷耦合感光元件(下文中简称CCD元件)的尺寸和摄像头的焦距是已知的;这里假设CCD元件的尺寸为长h,宽v,摄像头的焦距是F,根据这几个条件我们可以求得摄像机的视角α。通常而言,物距、像距和焦距的关系:S1为物距,即物体到摄像头镜片之间的距离;S2是像距,即CCD元件到镜片之间的距离;F是焦距。对于常用摄像头而言,物距的大小为几米或者几十米;而像距的大小为几十毫米。根据上述等量关系式,焦距和像距是近似相等的,即F≈S2。我们将摄像机的视角分成水平方向上的视角αh和垂直方向上的视角αv。通过下述公式可以计算出摄像机的视角:
水平方向上的视角αh
垂直方向上的视角αv
如图2、3、4所示,在架设摄像头时,摄像头设置的高度为H,摄像头的角度为θ,以及摄像头的经纬度坐标(X,Y)均为已知;根据已知的条件可以获得摄像头所覆盖的监控范围,即摄像头所覆盖的长方形范围中四个顶点的经纬度坐标。A、B、C、D四点所组成的区域为摄像头所能拍摄到的范围。因为摄像头是呈角度的摆放,该角度的选取是基于最大范围覆盖的原则进行,所以A、B、C、D四个点所组成的图形近似为一个类正方形区域,且屏幕的中心点为类正方形区域的中心点O;M和N点分别为AD和BC的中点;P、Q分别为AB和DC的中点。
根据已有的条件,我们可以获得如下的值:
OM = ON = H · tan a v 2
PT = H · tan ( θ + α h 2 )
QT = H · tan ( θ - α h 2 )
OT=H·tanθ
是一个几何比例参数值,在该值的基础上,根据几何关系的运算,可以得出:
以摄像机为原点可建立直角坐标系,则A、B、C、D四点坐标均可求:
A点坐标
B点坐标
C点坐标
D点坐标
通常而言,每一台摄像机都一个有效的监控距离L,即被检测目标与摄像头的距离超过这个值之后,摄像头不能良好的完成工作。对于普通常见的监控摄像头而言,这个值在100米到200米之间。据此,进一步的对最远监控点A、B的坐标进行修正:
最后根据摄像机所在位置的经纬度(N,E),以及摄像机面朝的方向为北偏东度。经过坐标系的变化最终可以获得A、B、C、D四个点的经纬度坐标。
这里省略变换的步骤,最后得出四个点的经纬度坐标如下:
这里X分别用公式(1)(2)(3)(4)式中的XA,XB,XC,XD替换;
Y分别用公式(1)(2)(3)(4)式中的YA,YB,YC,YD替换;
KN表示距离和纬度之间的关系,KN=1/111700;
KE表示距离和经度之间的关系,KE=||cosN||/111700。
根据上述步骤算出摄像头视野覆盖区域四个顶点的经纬度,达到地平面标定的目的。
第二步:利用第一步标定好的每个摄像头所能监控的区域、合理的分配摄像头使之能够完整的覆盖整个监控区域。如图5所示,图中表格部分表示对广场划分为9个正方形区域,然后架设9个摄像头分别对每个小型区域进行监控,调整每个摄像头的高度和角度使其能够有效的监控每个小型区域。然后根据上述所述的方法,确定每个摄像头所能够覆盖的区域经纬度值,即每个摄像头能够覆盖的范围。
第三步:可用铺设好的摄像头和服务器进行协同工作。每一个摄像头监测一个正方形区域,如图5所示,摄像头1检测区域A、摄像头2检测区域B。相应区域内的摄像头复杂对该区域内的场景进行监控,并且在目标出现时对目标进行定位并同时进行追踪和检测,而后还需将其监测的记录回传给终端服务器以备终端服务器中的记录、分析、控制装置对目标的位置和运动状态进行分析并且让终端对多个摄像头进行统一调配使其对目标协同监控。
终端服务器包涵4个装置----定位装置、记录装置、分析装置以及控制装置。
定位装置:用于通过上文讲述的运用地平面标定法依靠经纬仪并测量图像中目标与基准点的距离等信息来计算目标的位置信息。
记录装置:用于接收前端摄像头监控的画面并且存储每个摄像头对其整个正方形区域的监测记录,记下目标的包括形状色彩、运动状态以及当前位置等特征用于分析装置对其进行分析。
分析装置:通过分析记录装置中存储的目标的运动状态以及当前位置来分析目标的运动轨迹并且分析目标是否将运动到其他摄像头覆盖的范围内,而后将该信息传给控制装置使其能够及时的对各个摄像头进行统一调配使得各个摄像头能够对目标协同监控。
控制装置:用于在接收到分析装置对目标的分析后激活相应的摄像头中的目标存储并使其对目标继续监测然后采集目标的信息并返回终端服务器使得系统能够完成下一循环的协同监控。
当目标由a点穿过摄像头1覆盖的区域A然后进入摄像头2覆盖的区域B到达b点时,摄像头1对目标进行监测并且记录下目标的运动状态以及当前位置,然后将该记录回传给终端服务器的记录装置并由其存储,然后分析装置分析该记录发现目标将要运动到摄像头2覆盖的区域B,于是将该信息通知控制装置,控制装置激活摄像头2使其对区域B进行监测使其能够对目标进行持续的监控并且将目标新的特征状态记录下来并返回给终端服务器。
通过以上步骤就完成了监控场景下基于地平面标定的多摄像头协同监控的全部过程。

Claims (1)

1.一种多摄像头协同监控设备的监控方法,其特征在于:采用多摄像头协同监控设备,包括摄像头和与摄像头连接的终端服务器,其中所述终端服务器中包括:定位装置、记录装置、分析装置和控制装置;
所述定位装置,通过运用地平面标定法测量图像中目标与基准点的距离信息来确定目标的位置信息;
所述记录装置,用于接收每个摄像头监控的画面并存储监控记录;
所述控制装置,让用户对监控的画面中的目标进行指定;
所述分析装置,通过记录装置中存储的监控目标的运动状态以及当前位置来分析监控目标的运动轨迹;
所述定位装置、记录装置、控制装置和分析装置相互连接,其中所述记录装置和分析装置分别与摄像头连接;
其中,所述地面标定法为:运用经纬仪测量每个摄像头的经纬度,然后根据摄像头的设置高度和角度以及摄像头本身的参数获取每个摄像头覆盖的地平面范围的经纬度值;
包括如下步骤:
步骤1:确定摄像头所能覆盖的监控范围并采用地面标定法进行标定;
对于一台确定的摄像头,其电荷耦合感光元件的尺寸和摄像头的焦距是已知的;设CCD元件的尺寸为长h,宽v,摄像头的焦距是F,求得摄像头的视角α;物距、像距和焦距的关系:S1为物距,即物体到摄像头镜片之间的距离;S2是像距,即CCD元件到镜片之间的距离;F是焦距;据等量关系式,焦距和像距是近似相等的,即F≈S2;将摄像头的视角分成水平方向上的视角αh和垂直方向上的视角αv;通过下述公式可以计算出摄像头的视角:
水平方向上的视角αh
垂直方向上的视角αv
在架设摄像头时,摄像头设置的高度为H,摄像头的角度为θ,以及摄像头的经纬度坐标(N,E)均为已知;根据已知的条件可以获得摄像头所覆盖的监控范围,即摄像头所覆盖的长方形范围中四个顶点的经纬度坐标;A、B、C、D四点所组成的区域为摄像头所能拍摄到的范围;A、B、C、D四个点所组成的图形近 似为一个正方形区域,且屏幕的中心点为类正方形区域的中心点O;M和N点分别为AD和BC的中点;P、Q分别为AB和DC的中点;T表示摄像头在地面的投影点;
根据已有的条件,获得如下的值:
OT=H·tanθ
是一个几何比例参数值,在该值的基础上,根据几何关系的运算,得出:
以摄像头为原点可建立直角坐标系,则A、B、C、D四点坐标均可求:
A点坐标
B点坐标
C点坐标
D点坐标
对最远监控点A、B的坐标进行修正:
其中,L表示摄像头的有效的监控距离;
最后根据摄像头所在位置的经纬度(N,E),以及摄像头面朝的方向为北偏东 度;经过坐标系的变化最终可以获得A、B、C、D四个点的经纬度坐标如下:
这里X分别用公式(1)(2)(3)(4)式中的XA,XB,XC,XD替换;
Y分别用公式(1)(2)(3)(4)式中的YA,YB,YC,YD替换;
KN表示距离和纬度之间的关系,KN=1/111700;
KE表示距离和经度之间的关系,KE=‖cos N‖/111700;
根据上述步骤算出摄像头视野覆盖区域四个顶点的经纬度,完成地平面标定;
步骤2:根据步骤1中标定好的每个摄像头所能监控的区域、分配摄像头使之能够覆盖监控区域;
步骤3:架设好摄像头后在后台设置一个终端服务器,每一个摄像头监测一个区域,并且在目标出现时对目标进行定位并同时进行追踪和检测,而后还需将其监测的记录传给终端服务器以备终端服务器中的记录、分析、控制装置对目标的位置和运动状态进行分析并且让终端对多个摄像头进行统一调配使其对目标协同监控。
CN201310287859.0A 2013-07-09 2013-07-09 一种多摄像头协同监控设备及方法 Expired - Fee Related CN103400371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310287859.0A CN103400371B (zh) 2013-07-09 2013-07-09 一种多摄像头协同监控设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310287859.0A CN103400371B (zh) 2013-07-09 2013-07-09 一种多摄像头协同监控设备及方法

Publications (2)

Publication Number Publication Date
CN103400371A CN103400371A (zh) 2013-11-20
CN103400371B true CN103400371B (zh) 2016-11-02

Family

ID=49563983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310287859.0A Expired - Fee Related CN103400371B (zh) 2013-07-09 2013-07-09 一种多摄像头协同监控设备及方法

Country Status (1)

Country Link
CN (1) CN103400371B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152554B (zh) * 2013-03-08 2017-02-08 浙江宇视科技有限公司 一种移动目标智能跟踪装置
CN103795976B (zh) * 2013-12-30 2017-09-19 北京正安维视科技股份有限公司 一种全时空立体可视化方法
CN105741261B (zh) * 2014-12-11 2020-06-09 北京大唐高鸿数据网络技术有限公司 一种基于四摄像头的平面多目标定位方法
CN105049795A (zh) * 2015-07-07 2015-11-11 合肥指南针电子科技有限责任公司 一种基于数据关联存储的监控系统
CN105635560B (zh) * 2015-07-30 2017-09-08 宇龙计算机通信科技(深圳)有限公司 一种拍摄方法及装置
CN106713822A (zh) * 2015-08-14 2017-05-24 杭州海康威视数字技术股份有限公司 用于视频监控的摄像机及监控系统
CN105336171B (zh) * 2015-10-16 2017-12-29 浙江宇视科技有限公司 一种摄像机位置标定方法及装置
CN105245850B (zh) * 2015-10-27 2019-11-26 太原市公安局 跨监控摄像头进行目标追踪的方法、装置和系统
CN105263004B (zh) * 2015-11-03 2018-12-18 四川长虹电器股份有限公司 基于摄像监控系统的主动申请式安全防护方法
WO2017132901A1 (zh) * 2016-02-03 2017-08-10 华为技术有限公司 采集图像的方法、装置和系统
CN105929392A (zh) * 2016-04-18 2016-09-07 中国石油大学(华东) 一种雷达与视频等多系统联动的海上平台系统
CN105959639B (zh) * 2016-06-06 2019-06-14 南京工程学院 基于地面标定的城市街道区域中行人监控方法
CN107666590B (zh) 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
CN108234900B (zh) * 2018-02-13 2020-11-20 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
CN106911916B (zh) * 2017-03-10 2020-12-25 北京旷视科技有限公司 图像采集系统、设备和方法
CN107666601A (zh) * 2017-10-23 2018-02-06 合肥时代智慧高新投资管理有限公司 一种基于电子定位技术的多摄像机自动跟踪方法
CN108898617A (zh) * 2018-05-24 2018-11-27 宇龙计算机通信科技(深圳)有限公司 一种目标对象的跟踪方法和装置
CN108900733B (zh) * 2018-07-04 2021-04-13 百度在线网络技术(北京)有限公司 拍摄设备、同步拍摄系统及方法
CN110705524B (zh) * 2019-10-24 2023-12-29 佛山科学技术学院 一种基于视觉的特定区域无人机监控方法及装置
CN111629144B (zh) * 2020-04-28 2022-11-18 深圳供电局有限公司 图像采集设备控制方法、装置、计算机设备和存储介质
CN111479094A (zh) * 2020-05-27 2020-07-31 山西四建集团有限公司 一种采用对照式无盲区监控的视频监控系统及方法
CN112616023A (zh) * 2020-12-22 2021-04-06 荆门汇易佳信息科技有限公司 复杂环境下的多摄像机视频目标追踪方法
CN112990017B (zh) * 2021-03-16 2022-01-28 刘宏伟 一种智慧城市大数据分析方法及监控系统
CN113449627B (zh) * 2021-06-24 2022-08-09 深兰科技(武汉)股份有限公司 基于ai视频分析的人员跟踪方法及相关装置
CN113538584B (zh) * 2021-09-16 2021-11-26 北京创米智汇物联科技有限公司 摄像机自协商监控处理方法、系统及摄像机
CN115002353B (zh) * 2022-06-30 2023-07-25 天翼数字生活科技有限公司 一种视频监控协同覆盖场景下的摄像头调度方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051880A (zh) * 2012-12-29 2013-04-17 苏州市职业大学 一种基于多摄像头的视频监控系统装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242993A (ja) * 2011-05-18 2012-12-10 Nissan Motor Co Ltd 移動体監視装置及び移動体の監視方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051880A (zh) * 2012-12-29 2013-04-17 苏州市职业大学 一种基于多摄像头的视频监控系统装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Algorithms for Cooperative Multisensor Surveillance;ROBERT T. COLLINS等;《PROCEEDINGS OF THE IEEE》;20011031;第89卷(第10期);第1456-1477页 *
监控系统中的多摄像头协同算法;陈伟宏 等;《计算机工程与应用》;20061121(第33期);第229-232页 *

Also Published As

Publication number Publication date
CN103400371A (zh) 2013-11-20

Similar Documents

Publication Publication Date Title
CN103400371B (zh) 一种多摄像头协同监控设备及方法
EP2918972B1 (de) Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
CN103700140B (zh) 用于单枪机‑多球机联动的空间建模方法
CN103136393B (zh) 一种基于网格划分的区域覆盖率计算方法
CN204666091U (zh) 基于卫星定位作业面积统计的农机终端
CN104038740B (zh) 一种遮蔽ptz监控摄像机隐私区域的方法及装置
CN104751486A (zh) 一种多ptz相机的运动目标接力跟踪算法
CN104184995A (zh) 一种实现联网视频监控系统实时联动监控的方法及系统
CN109471142A (zh) 一种基于rtk差分定位的工作轨迹识别方法
CN109946564B (zh) 一种配网架空线路巡检数据采集方法及巡检系统
CN102735217A (zh) 一种室内机器人视觉自主定位方法
CN103414870B (zh) 一种多模式警戒分析方法
CN108829103A (zh) 除草机的控制方法、除草机、终端、设备和存储介质
CN105635657A (zh) 基于人脸检测的摄像机云台全方位交互方法和装置
CN104796620A (zh) 基于gis技术的摄像机快速精准监控方法
CN106352871A (zh) 一种基于天花板人工信标的视觉室内定位系统和方法
US10655291B2 (en) Real-time monitoring system for float-over installation
CN103438864A (zh) 工程边坡实时数字地质编录系统
CN110134117A (zh) 一种移动机器人重定位方法、移动机器人及电子设备
CN104093000A (zh) 基于地理信息控制的监控系统及其构建方法
CN105929392A (zh) 一种雷达与视频等多系统联动的海上平台系统
CN110274612A (zh) 一种基于地面遥感影像地图的远程光学转台俯仰和方位标定方法
CN109982044A (zh) 一种基于cctv传感网的目标定位跟踪系统的跟踪方法
CN106325278B (zh) 一种基于椭圆识别的机器人定位导航方法
CN106529536B (zh) 基于空间建模实现运动目标定位的图像分析方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161102

Termination date: 20190709