CN104836990A - 一种桥墩防撞图像监控系统及监控方法 - Google Patents

一种桥墩防撞图像监控系统及监控方法 Download PDF

Info

Publication number
CN104836990A
CN104836990A CN201510222465.6A CN201510222465A CN104836990A CN 104836990 A CN104836990 A CN 104836990A CN 201510222465 A CN201510222465 A CN 201510222465A CN 104836990 A CN104836990 A CN 104836990A
Authority
CN
China
Prior art keywords
image
boats
ships
centre
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510222465.6A
Other languages
English (en)
Other versions
CN104836990B (zh
Inventor
吕植勇
陈振康
鲁盈利
罗鹏举
帅然
王乐
刘昌伟
阮志邦
陶玮凡
何荣
聂闯
张琴兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201510222465.6A priority Critical patent/CN104836990B/zh
Publication of CN104836990A publication Critical patent/CN104836990A/zh
Application granted granted Critical
Publication of CN104836990B publication Critical patent/CN104836990B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种桥墩防撞图像监控系统,包括:图像采集系统,用于采集来船方向的图像;图像矫正模块,用于根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正;背景图像建立模块,用于利用若干幅矫正后的图像进行去噪和二值化处理,建立背景图像;船舶形心坐标计算模块,用于将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标;告警模块,用于判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。利用本发明系统和方法,仅需要在待避碰桥墩上安设视频采集装置,利用有线或无线的方式获取视频采集装置采集到的图像进行处理即可,安装方便,降低成本。

Description

一种桥墩防撞图像监控系统及监控方法
技术领域
本发明属于交通领域,具体涉及一种桥墩防撞图像监控系统及监控方法。
背景技术
目前船舶避碰都是采用旋转式雷达系统,成本高,而且在桥墩上安装旋转式雷达不方便。
发明内容
本发明要解决的技术问题是:提供一种桥墩防撞图像监控系统及监控方法,利用视频采集系统,安装方便,降低成本。
本发明为解决上述技术问题所采取的技术方案为:一种桥墩防撞图像监控系统,其特征在于:它包括:
图像采集系统,用于采集来船方向的图像;
图像矫正模块,用于根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正;
背景图像建立模块,用于利用若干幅矫正后的图像进行去噪和二值化处理,建立背景图像;
船舶形心坐标计算模块,用于将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标;
告警模块,用于判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。
按上述系统,所述的背景图像建立模块包括
去噪模块,用于对已采集并矫正后的最近2n幅图像进行去噪处理;
二值化处理模块,用于将此2n幅图像的图像矩阵按公式(1)相减,得到中间矩阵Mx,x=1,2,…,n,
U 2 n - U n = M n . . . U n + 1 - U 1 = M 1 - - - ( 1 ) ,
式中,U1-U2n为第1-2n幅图像的图像矩阵;
将中间矩阵Mx中各项取绝对值相加,和为rx,若rx<K,则令rx=0;反之则rx=1,K为预设的像素阈值;
背景图像的像素矩阵B=max(U2n·rn,U2n-1·rn-1,...,Un+1·r1)。
按上述系统,所述的船舶形心坐标计算模块包括
二值化比较模块,用于将新采集并矫正后的图像的图像矩阵,与背景图像的图像矩阵相减,若相减后的像素值大于像素阈值,则认为是动态目标;
去噪模块,用于利用形态学膨胀L次和腐蚀L次去掉面积L*L的像素噪声,保留大于L*L面积的动态目标,得到动态目标的形态;
计算模块,用于利用得到的动态目标的形态,计算船舶的形心坐标。
按上述系统,所述的告警模块还包括目标确认模块,用于当所计算的船舶形心坐标落入到预设的危险区域内时,利用所计算的船舶形心坐标与AIS的GPS定位信息船舶进行配对验证,若二者坐标在误差范围内,则判断所计算的船舶形心坐标为真实船舶。
按上述系统,所述的预设的危险区域包括预警区域和告警区域,其中
预警区域为:以桥墩为中心建立的长轴为A、短轴为B的椭圆范围,其中短轴方向为桥的方向,长轴方向与短轴方向垂直;
告警区域为:以桥墩为中心建立的长轴为a,短轴为b的椭圆范围,其长轴方向和短轴方向与预警区域相同;
A>a=20~200m,B>b=10~50m。
一种桥墩防撞图像监控方法,其特征在于:它包括以下步骤:
S1、采集来船方向的图像;
S2、根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正;
S3、利用若干幅矫正后的图像进行二值化处理和比较去噪,建立背景图像;
S4、将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标;
S5、判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。
按上述方法,所述的S3具体为:
对已采集并矫正后的最近2n幅图像进行去噪处理;
将此2n幅图像的图像矩阵按公式(1)相减,得到中间矩阵Mx,x=1,2,…,n,
U 2 n - U n = M n . . . U n + 1 - U 1 = M 1 - - - ( 1 ) ,
式中,U1-U2n为第1-2n幅图像的图像矩阵;
将中间矩阵Mx中各项取绝对值相加,和为rx,若rx<K,则令rx=0;反之则rx=1,K为预设的像素阈值;
背景图像的像素矩阵B=max(U2n·rn,U2n-1·rn-1,...,Un+1·r1)。
按上述方法,所述的S4具体为:
将新采集并矫正后的图像的图像矩阵,与背景图像的图像矩阵相减,若相减后的像素值大于像素阈值,则认为是动态目标;
利用形态学膨胀L次和腐蚀L次去掉面积L*L的像素噪声,保留大于L*L面积的动态目标,得到动态目标的形态;
利用得到的动态目标的形态,计算船舶的形心坐标。
按上述方法,所述的S5还包括:当所计算的船舶形心坐标落入到预设的危险区域内时,利用所计算的船舶形心坐标与AIS的GPS定位信息船舶进行配对验证,若二者坐标在误差范围内,则判断所计算的船舶形心坐标为真实船舶,再报警。
本发明的有益效果为:
1、利用采集的视频图像根据图像畸变进行矫正,根据空间区域与保护对象的空间位置相对关系,划分危险区域,一旦运动物体进入危险区域,则进行相应的报警,从而对进入危险区域的船舶或者漂浮物进行预警,提高桥梁安全;利用本发明系统和方法,仅需要在待避碰桥墩上安设视频采集装置,利用有线或无线的方式获取视频采集装置采集到的图像进行处理即可,安装方便,降低成本。
2、通过对各模块进行细化图像处理和去噪,提高精确度。
3、对危险区域进行划分为预警和告警区域,分级报警,给船舶预留时间进行调整,进一步提高桥梁安全。
附图说明
图1为本发明一实施例的原理图。
图2为本发明一实施例的示意图。
图3为本发明一实施例的工作流程图。
图中:1-目标船只,2-桥墩,3-摄像头,4-预警区域,5-告警区域。
具体实施方式
下面结合具体实例和附图对本发明做进一步说明。
图1为本发明一实施例的原理图,图2为本发明一实施例的示意图,利用安设在桥墩2上的摄像头3采集视频图像,根据图像畸变进行矫正,根据空间区域与保护对象的空间位置相对关系,划分危险区域(本实施例中为预警区域4和告警区域5),一旦运动物体(本实施例中为目标船只1)进入危险区域,则进行相应的报警。
本发明提供的桥墩防撞图像监控系统包括图像采集系统,用于采集来船方向的图像;图像矫正模块,用于根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正;背景图像建立模块,用于利用若干幅矫正后的图像进行去噪和二值化处理,建立背景图像;船舶形心坐标计算模块,用于将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标;告警模块,用于判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。
进一步的,背景图像建立模块包括去噪模块,用于对已采集并矫正后的最近2n幅图像进行去噪处理(本实施例中采用中值滤波的方式进行去噪);
二值化处理模块,用于将此2n幅图像的图像矩阵按公式(1)相减,得到中间矩阵Mx,x=1,2,…,n,
U 2 n - U n = M n . . . U n + 1 - U 1 = M 1 - - - ( 1 ) ,
式中,U1-U2n为第1-2n幅图像的图像矩阵;
将中间矩阵Mx中各项取绝对值相加,和为rx,若rx<K,则令rx=0;反之则rx=1,K为预设的像素阈值;
背景图像的像素矩阵B=max(U2n·rn,U2n-1·rn-1,...,Un+1·r1)。
进一步的,船舶形心坐标计算模块包括二值化比较模块,用于将新采集并矫正后的图像的图像矩阵,与背景图像的图像矩阵相减,若相减后的像素值大于像素阈值,则认为是动态目标;去噪模块,用于利用形态学膨胀L次和腐蚀L次去掉面积L*L的像素噪声,保留大于L*L面积的动态目标,得到动态目标的形态;计算模块,用于利用得到的动态目标的形态,计算船舶的形心坐标。
更进一步的,告警模块还包括目标确认模块,用于当所计算的船舶形心坐标落入到预设的危险区域内时,利用所计算的船舶形心坐标与AIS的GPS定位信息船舶进行配对验证,若二者坐标在误差范围内,则判断所计算的船舶形心坐标为真实船舶。
预设的危险区域包括预警区域和告警区域,其中预警区域为:以桥墩为中心建立的长轴为A、短轴为B的椭圆范围,其中短轴方向为桥的方向,长轴方向与短轴方向垂直;告警区域为:以桥墩为中心建立的长轴为a,短轴为b的椭圆范围,其长轴方向和短轴方向与预警区域相同;A>a=20~200m,B>b=10~50m。
本发明提供的桥墩防撞图像监控方法如图3所示,包括以下步骤:
S1、采集来船方向的图像。
S2、根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正。
该矫正方法本身为现有技术,这里不做重点阐述。矫正后得到笛卡尔坐标,然后与大地坐标统一。
S3、利用若干幅矫正后的图像进行去噪和二值化处理,建立背景图像。
具体为:对已采集并矫正后的最近2n幅图像进行去噪处理(本实施例中采用中值滤波的方式);
将此2n幅图像的图像矩阵按公式(1)相减,得到中间矩阵Mx,x=1,2,…,n,
U 2 n - U n = M n . . . U n + 1 - U 1 = M 1 - - - ( 1 ) ,
式中,U1-U2n为第1-2n幅图像的图像矩阵;
将中间矩阵Mx中各项取绝对值相加,和为rx,若rx<K,则令rx=0;反之则rx=1,K为预设的像素阈值;
背景图像的像素矩阵B=max(U2n·rn,U2n-1·rn-1,...,Un+1·r1)。
S4、将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标。
将新采集并矫正后的图像的图像矩阵,与背景图像的图像矩阵相减,若相减后的像素值大于像素阈值,则认为是动态目标;
利用形态学膨胀L次和腐蚀L次去掉面积L*L的像素噪声,保留大于L*L面积的动态目标,得到动态目标的形态;
利用得到的动态目标的形态,计算船舶的形心坐标(本实施例中,包括中值滤波和多次图像闭环运算,此图像处理方法为常规方法,在此不做详细阐述)。
S5、判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。
进一步的,S5还包括:当所计算的船舶形心坐标落入到预设的危险区域内时,利用所计算的船舶形心坐标与AIS的GPS定位信息船舶进行配对验证,若二者坐标在误差范围内,则判断所计算的船舶形心坐标为真实船舶,再报警。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。

Claims (9)

1.一种桥墩防撞图像监控系统,其特征在于:它包括:
图像采集系统,用于采集来船方向的图像;
图像矫正模块,用于根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正;
背景图像建立模块,用于利用若干幅矫正后的图像进行去噪和二值化处理,建立背景图像;
船舶形心坐标计算模块,用于将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标;
告警模块,用于判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。
2.根据权利要求1所述的一种桥墩防撞图像监控系统,其特征在于:所述的背景图像建立模块包括
去噪模块,用于对已采集并矫正后的最近2n幅图像进行去噪处理;
二值化处理模块,用于将此2n幅图像的图像矩阵按公式(1)相减,得到中间矩阵Mx,x=1,2,…,n,
U 2 n - U n = M n . . . U n + 1 - U 1 = M 1 - - - ( 1 ) ,
式中,U1-U2n为第1-2n幅图像的图像矩阵;
将中间矩阵Mx中各项取绝对值相加,和为rx,若rx<K,则令rx=0;反之则rx=1,K为预设的像素阈值;
背景图像的像素矩阵B=max(U2n·rn,U2n-1·rn-1,...,Un+1·r1)。
3.根据权利要求1所述的一种桥墩防撞图像监控系统,其特征在于:所述的船舶形心坐标计算模块包括
二值化比较模块,用于将新采集并矫正后的图像的图像矩阵,与背景图像的图像矩阵相减,若相减后的像素值大于像素阈值,则认为是动态目标;
去噪模块,用于利用形态学膨胀L次和腐蚀L次去掉面积L*L的像素噪声,保留大于L*L面积的动态目标,得到动态目标的形态;
计算模块,用于利用得到的动态目标的形态,计算船舶的形心坐标。
4.根据权利要求1所述的一种桥墩防撞图像监控系统,其特征在于:所述的告警模块还包括目标确认模块,用于当所计算的船舶形心坐标落入到预设的危险区域内时,利用所计算的船舶形心坐标与AIS的GPS定位信息船舶进行配对验证,若二者坐标在误差范围内,则判断所计算的船舶形心坐标为真实船舶。
5.根据权利要求1所述的一种桥墩防撞图像监控系统,其特征在于:所述的预设的危险区域包括预警区域和告警区域,其中
预警区域为:以桥墩为中心建立的长轴为A、短轴为B的椭圆范围,其中短轴方向为桥的方向,长轴方向与短轴方向垂直;
告警区域为:以桥墩为中心建立的长轴为a,短轴为b的椭圆范围,其长轴方向和短轴方向与预警区域相同;
A>a=20~200m,B>b=10~50m。
6.一种桥墩防撞图像监控方法,其特征在于:它包括以下步骤:
S1、采集来船方向的图像;
S2、根据基于灭点的透视校正和空间定位方法对采集到的图像畸变进行矫正;
S3、利用若干幅矫正后的图像进行去噪和二值化处理,建立背景图像;
S4、将新采集和矫正后的图像与背景图像相比较,并进行去噪处理,计算船舶的形心坐标;
S5、判断船舶的形心坐标是否落入到预设的危险区域内,若是则进行告警。
7.根据权利要求6所述的一种桥墩防撞图像监控方法,其特征在于:所述的S3具体为:
对已采集并矫正后的最近2n幅图像进行去噪处理;
将此2n幅图像的图像矩阵按公式(1)相减,得到中间矩阵Mx,x=1,2,…,n,
U 2 n - U n = M n . . . U n + 1 - U 1 = M 1 - - - ( 1 ) ,
式中,U1-U2n为第1-2n幅图像的图像矩阵;
将中间矩阵Mx中各项取绝对值相加,和为rx,若rx<K,则令rx=0;反之则rx=1,K为预设的像素阈值;
背景图像的像素矩阵B=max(U2n·rn,U2n-1·rn-1,...,Un+1·r1)。
8.根据权利要求6所述的一种桥墩防撞图像监控方法,其特征在于:所述的S4具体为:
将新采集并矫正后的图像的图像矩阵,与背景图像的图像矩阵相减,若相减后的像素值大于像素阈值,则认为是动态目标;
利用形态学膨胀L次和腐蚀L次去掉面积L*L的像素噪声,保留大于L*L面积的动态目标,得到动态目标的形态;
利用得到的动态目标的形态,计算船舶的形心坐标。
9.根据权利要求6所述的一种桥墩防撞图像监控方法,其特征在于:所述的S5还包括:当所计算的船舶形心坐标落入到预设的危险区域内时,利用所计算的船舶形心坐标与AIS的GPS定位信息船舶进行配对验证,若二者坐标在误差范围内,则判断所计算的船舶形心坐标为真实船舶,再报警。
CN201510222465.6A 2015-04-30 2015-04-30 一种桥墩防撞图像监控系统及监控方法 Expired - Fee Related CN104836990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510222465.6A CN104836990B (zh) 2015-04-30 2015-04-30 一种桥墩防撞图像监控系统及监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510222465.6A CN104836990B (zh) 2015-04-30 2015-04-30 一种桥墩防撞图像监控系统及监控方法

Publications (2)

Publication Number Publication Date
CN104836990A true CN104836990A (zh) 2015-08-12
CN104836990B CN104836990B (zh) 2017-12-29

Family

ID=53814602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510222465.6A Expired - Fee Related CN104836990B (zh) 2015-04-30 2015-04-30 一种桥墩防撞图像监控系统及监控方法

Country Status (1)

Country Link
CN (1) CN104836990B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979230A (zh) * 2016-07-04 2016-09-28 上海思依暄机器人科技股份有限公司 一种机器人通过图像进行监控的方法及装置
CN108280815A (zh) * 2018-02-26 2018-07-13 安徽新闻出版职业技术学院 一种面向监控场景结构的几何校正方法
CN109257576A (zh) * 2018-11-19 2019-01-22 国网四川省电力公司成都供电公司 基于人工智能技术的输电线路防外破监控系统及方法
CN112202990A (zh) * 2020-09-14 2021-01-08 深圳市百川安防科技有限公司 视频预录方法及摄像机、电子设备
CN116434508A (zh) * 2022-12-14 2023-07-14 广州海秀敏网络科技有限公司 基于物联网的防撞监测大数据预警系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3725918A (en) * 1970-11-18 1973-04-03 Sperry Rand Corp Collision avoidance display apparatus for maneuverable craft
CN201893031U (zh) * 2010-09-21 2011-07-06 上海丰轩电子科技有限公司 一种基于视频的桥梁防撞预警系统
CN202166739U (zh) * 2010-10-25 2012-03-14 安徽中超信息系统有限公司 桥梁防撞雷达预警管理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3725918A (en) * 1970-11-18 1973-04-03 Sperry Rand Corp Collision avoidance display apparatus for maneuverable craft
CN201893031U (zh) * 2010-09-21 2011-07-06 上海丰轩电子科技有限公司 一种基于视频的桥梁防撞预警系统
CN202166739U (zh) * 2010-10-25 2012-03-14 安徽中超信息系统有限公司 桥梁防撞雷达预警管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付祥胜 等: "视频桥墩防撞预警系统的设计与实现", 《中国水运(理论版)》 *
朱群英: "基于视频图像处理的桥墩防撞研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979230A (zh) * 2016-07-04 2016-09-28 上海思依暄机器人科技股份有限公司 一种机器人通过图像进行监控的方法及装置
CN108280815A (zh) * 2018-02-26 2018-07-13 安徽新闻出版职业技术学院 一种面向监控场景结构的几何校正方法
CN109257576A (zh) * 2018-11-19 2019-01-22 国网四川省电力公司成都供电公司 基于人工智能技术的输电线路防外破监控系统及方法
CN112202990A (zh) * 2020-09-14 2021-01-08 深圳市百川安防科技有限公司 视频预录方法及摄像机、电子设备
CN112202990B (zh) * 2020-09-14 2021-05-11 深圳市睿联技术股份有限公司 视频预录方法及摄像机、电子设备
CN116434508A (zh) * 2022-12-14 2023-07-14 广州海秀敏网络科技有限公司 基于物联网的防撞监测大数据预警系统及方法
CN116434508B (zh) * 2022-12-14 2024-04-05 深圳点链科技有限公司 基于物联网的防撞监测大数据预警系统及方法

Also Published As

Publication number Publication date
CN104836990B (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN104836990A (zh) 一种桥墩防撞图像监控系统及监控方法
CN102915640B (zh) 基于Hough变换的安全带检测方法
KR101773822B1 (ko) 영상 기반의 차선 인식 장치
CN103714538B (zh) 道路边缘检测方法、装置及车辆
US11079486B2 (en) Method of verifying a potential detection of a man overboard event and alert verification processing apparatus
US11010602B2 (en) Method of verifying a triggered alert and alert verification processing apparatus
CN110208803B (zh) 桥梁处船舶防撞雷达监测识别方法
CN109931229B (zh) 用于风力发电机组的涡激振动的监测方法和设备
CN107097794B (zh) 道路车道线的侦测系统及其方法
CN104978751A (zh) 基于摄像头角度的越界检测方法
CN111323756B (zh) 一种基于深度学习的航海雷达目标检测方法及装置
CN111696388A (zh) 桥梁防撞监测预警方法、系统、计算机设备及存储介质
CN103440785B (zh) 一种快速的车道偏移警示方法
CN107516423B (zh) 一种基于视频的车辆行驶方向检测方法
WO2016152755A1 (ja) 物体認識装置
CN111323757B (zh) 一种航海雷达目标检测方法及装置
CN116740988A (zh) 可见光和热成像相机的全时段桥梁自适应防船撞预警方法
CN111123251A (zh) 一种雷达的目标对象检测方法及装置
CN105450950B (zh) 无人机航拍视频去抖方法
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
Chen et al. Automatic head detection for passenger flow analysis in bus surveillance videos
CN103177427A (zh) 一种x波段雷达图像同频干扰去除方法
CN106781539A (zh) 车辆违章智能检测系统
CN108051811B (zh) 一种中尺度涡的分析方法及装置
CN105929379A (zh) 一种提升vts雷达分辨力的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171229

Termination date: 20200430