CN103454697B - 一种全覆盖水下搜救装置及其搜救方法 - Google Patents

一种全覆盖水下搜救装置及其搜救方法 Download PDF

Info

Publication number
CN103454697B
CN103454697B CN201310443669.3A CN201310443669A CN103454697B CN 103454697 B CN103454697 B CN 103454697B CN 201310443669 A CN201310443669 A CN 201310443669A CN 103454697 B CN103454697 B CN 103454697B
Authority
CN
China
Prior art keywords
search
under water
rescue device
module
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310443669.3A
Other languages
English (en)
Other versions
CN103454697A (zh
Inventor
朱大奇
孙兵
邓志刚
白桦
曹翔
顾诚诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201310443669.3A priority Critical patent/CN103454697B/zh
Publication of CN103454697A publication Critical patent/CN103454697A/zh
Application granted granted Critical
Publication of CN103454697B publication Critical patent/CN103454697B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种全覆盖水下搜救装置,包含嵌入式控制器、传感器系统、上光端机、下光端机、水面监控系统、手操器及水下机器人本体;嵌入式控制器及传感器系统安装在水下机器人本体上;嵌入式控制器的输入端与传感器系统的输出端连接,其输出端与下光端机的输入端连接;上光端机的输入端与下光端机的输出端连接,其输出端与水面监控系统的输入端连接;手操器的输出端与水面监控系统的输入端连接。本发明还公开了一种用于全覆盖水下搜救装置的搜救方法。本发明传输信息量大,特别利于图像传输,兼顾AUV与ROV的特点,利用生物启发神经网络模型进行全覆盖搜索。

Description

一种全覆盖水下搜救装置及其搜救方法
技术领域
本发明涉及水下机器人搜索技术领域,特别涉及一种全覆盖水下搜救装置及其搜救方法。
背景技术
随着人类活动不断向水下扩展,各类水下事故对水下搜救工作提出了更高的要求。许多情况下,发生事故的水下环境比较复杂,水下搜救工作面临能见度低,地形复杂,水流复杂等困难。现有技术的搜救方法是派遣潜水员进行水下搜救,但是此种工作方式受到潜水员个人的体能和经验的限制,其作业效率低,施工周期长,受自然环境因素(如:天气、温度、水流、水下能见度等)的制约多,而且危险性大。自80年代以来,各种水下机器人UUV(UnmannedUnderwaterVehicle)由于其灵活机动,活动范围大,不受时间和空间限制等优点,正日益成为水下搜救工作的主力,在全世界得到越来越广泛的应用。
传统的水下机器人一般可以分为:无人缆控水下机器人ROV(RemotelyOperatedVehicle)和无人自治水下机器人AUV(AutonomousUnderwaterVehicle)。ROV的特点为无人有缆,能量与控制信号通过脐带缆传至水下机器人,但其脐带缆较粗,复杂水下环境中不宜拖动、水下扰动较大,作业困难;AUV的特点为无人无缆,自主完成任务。但其水声通讯设备昂贵,传输时延较长,从而无法实现AUV与水面控制端的实时数据交换。在复杂水下环境中无法从水面控制端根据实际水下情况对AUV进行实时监控,影响了AUV的水下安全性与作业能力。同时,目前AUV的智能仍不能在搜救任务中实现完全自治。
发明内容
本发明的目的在于提供一种全覆盖水下搜救装置及其搜救方法,传输信息量大,特别利于图像传输,兼顾AUV与ROV的特点,利用生物启发神经网络模型进行全覆盖搜索。
为了达到上述目的,本发明通过以下技术方案实现:一种全覆盖水下搜救装置,其特点是,包含嵌入式控制器、传感器系统、上光端机、下光端机、水面监控系统、手操器及水下机器人本体;
上述的嵌入式控制器及传感器系统安装在水下机器人本体上;
上述的嵌入式控制器的输入端与传感器系统的输出端连接,其输出端与下光端机的输入端连接;
上述的上光端机的输入端与下光端机的输出端连接,其输出端与水面监控系统的输入端连接;
上述的手操器的输出端与水面监控系统的输入端连接。
上述的嵌入式控制器包含信号放大滤波模块、模数转换器、多路开关模块、串行通信接口及微处理器;
上述的多路开关模块的输出端与信号放大滤波模块的输入端连接;
上述的模数转换器的输入端与信号放大滤波模块的输出端连接;
上述的微处理器的输出端与模数转换器的输出端并联,且与串行通信接口连接。
上述的传感器系统包含分别与多路开关模块输入端连接的深度传感器、速度传感器、姿态传感器、声纳传感器、光学成像传感器、电池监控传感器、推进监控传感器。
上述的水面监控系统包含控制面板、显示模块、主处理器模块、供电电源、通信模块、图像处理模块、水下高清摄像显示模块及水下定位模块;
上述的通信模块、图像处理模块、水下高清摄像显示模块及水下定位模块分别与主处理器模块连接;
上述的主处理器模块通过通信模块与控制面板连接;
上述的控制面板与显示模块连接;
上述的含控制面板、显示模块、主处理器模块及通信模块分别与供电电源连接。
一种用于上述全覆盖水下搜救装置的搜救方法,其特征在于,至少包含以下步骤:
步骤1、声纳传感器测量水下机器人的前视环境,形成图像数据;
步骤2、图像处理模块利用图像数据构建水下地图;
步骤3、图像处理模块将构建的水下地图进行栅格化处理,并对所有栅格进行标记;
步骤4、搜救装置对水下地图的所有区域进行覆盖式搜索。
所述的步骤3中的栅格标记还包含以下步骤:
步骤3.1、搜救装置利用生物启发神经网络模型,对水下地图进行搜索,将未搜索的区域标记为E;
步骤3.2、搜救装置将搜索过得区域标记为0,若发现目标物则标记为-E,同时对水下地图进行更新。
所述的步骤4还包含以下步骤:
步骤4.1、搜救装置通过深度传感器获得所处深度信息;
步骤4.2、搜救装置通过速度传感器获得速度信息;
步骤4.3、搜救装置通过姿态传感器获得姿态信息;
步骤4.4、搜救装置通过水下定位模块进行定位;
步骤4.5、搜救装置通过获得的深度信息、速度信息及姿态信息,采用自治模式,利用生物启发神经网络模型,遍历水域所有位置;
步骤4.6、搜救装置将声呐图像及视频图像传输至水下高清摄像显示模块;
步骤4.7、若搜救装置发现可疑目标,则采用手操作业模式,利用光学成像传感器辨别可疑物。
本发明一种全覆盖水下搜救装置及其搜救方法与现有技术相比具有以下优点:本发明能够实现边放缆边作业,避免ROV脐带缆的拖动问题,水下机动性提高;全覆盖水下搜救装置自带电池,在某些情况下可以以AUV模式运行,扩展了水下运动范围;全覆盖水下搜救装置利用光纤进行通讯,传输信息量大,特别是有利于图像传输;水下搜救方法利用前视声纳进行地图构建,利用生物启发神经网络模型进行全覆盖搜索,它通过标记地图中的障碍物、搜索区域与未搜索区域实现完全遍历整个水下作业区域;与ROV相比,本发明智能性较高,实现半自动水下搜救作业,同时与AUV相比又能实时观测传感设备上传的声纳图像与高清视频图像,有利于搜索与发现目标,在需要的时候转为手动操作。
附图说明
图1为本发明一种全覆盖水下搜救装置的结构框图。
图2为为本发明水面监控系统电路的原理图。
图3为本发明生物启发神经网络模型的原理图。
图4为本发明水下搜救方法的流程图。
具体实施方式
以下结合附图,通过详细说明一个较佳的具体实施例,对本发明做进一步阐述。
如图1所示,一种全覆盖水下搜救装置,包含嵌入式控制器1、传感器系统2、上光端机3、下光端机4、水面监控系统5、手操器6及水下机器人本体7;嵌入式控制器1及传感器系统2安装在水下机器人本体7上;嵌入式控制器1的输入端与传感器系统2的输出端通过信号传输线连接,其输出端与下光端机4的输入端连接;上光端机3的输入端与下光端机4的输出端通过485串行光纤通讯线连接,采用RS-485串口通信方式,其输出端与水面监控系统5的输入端连接;手操器6的输出端与水面监控系统5的输入端连接。
嵌入式控制器1包含信号放大滤波模块、模数转换器、多路开关模块、串行通信接口(485串行通信接口)及微处理器;多路开关模块的输出端与信号放大滤波模块的输入端连接;模数转换器的输入端与信号放大滤波模块的输出端连接;微处理器的输出端与模数转换器的输出端并联,且与串行通信接口连接。
将嵌入式控制器1、传感器系统2、下光端机4统称为下位机,将上光端机3、水面监控系统5及手操器6统称为上位机。
传感器系统2包含分别于与多路开关模块13输入端连接的深度传感器21、速度传感器22、姿态传感器23、声纳传感器24、光学成像传感器25、电池监控传感器26、推进监控传感器27。
深度传感器21设置于水下机器人本体7上,用以测量搜救装置的水中深度,并将测得的深度数据转变为深度电压信号后传输到嵌入式控制器1;
速度传感器22设置于水下机器人本体7上,速度传感器22用以测量搜救装置的航行速度,并将测得的航行速度数据转变为速度电压信号后传输到嵌入式控制器1;
姿态传感器23设置于水下机器人本体7上,用以测量搜救装置的转首、纵倾和横摇方向,并将测得的方向数据转变为相应电压信号后传输到嵌入式控制器1;
声纳传感器24设置于水下机器人本体7上,用以测量搜救装置的前方图像,并将测得的图像数据转变为相应电压信号后传输到嵌入式控制器1;
光学成像传感器25设置于水下机器人本体7上,用以测量搜救装置的周围的图像,并将测得的图像数据转变为相应电压信号后传输到嵌入式控制器1;
电池监控传感器26设置于水下机器人本体7上,用以测量搜救装置电池组工作状态,并将测得的状态数据转变为相应电压信号后传输到嵌入式控制器1;
推进监控传感器27设置于水下机器人本体7上,用以测量搜救装置推进器的工作状态,并将测得的状态数据转变为相应电压信号后传输到嵌入式控制器1。
上光端机3设置在水面母船上,与下光端机4通过光纤连接,二者之间采用RS-485串口通信方式传送搜救装置的传感器信号。
如图2所示,水面监控系统5包含控制面板51、显示模块52、主处理器模块53、供电电源54、通信模块55、图像处理模块56、水下高清摄像显示模块57及水下定位模块58;通信模块55、图像处理模块56、水下高清摄像显示模块57及水下定位模块58分别与主处理器模块53连接;主处理器模块53通过通信模块56与控制面板51连接,通信模块56与主处理模块53之间通过串行接口连接;控制面板51与显示模块52连接;含控制面板51、显示模块52、主处理器模块53及通信模块55分别与供电电源54连接。水面监控系统5,由ACCESS来保存与下位机的实时通讯数据,,上位机系统接收下位机数据都是采用的UDP通信方式并且共用了同一个主板端口,而上位机往下位机发送数据则采用的是RS-485通信方式,从而可以实现全双工的通信。
手操器6,包括控制手柄和驱动电路,与水面监控系统相连接,利用水面母船上的光端机与水下部分进行通讯,实现数据传输,驱动电机运动。
如图3所示,描述生物启发神经网络模型。这里以搜救装置(AutonomousRemotely-operatedVehicle,ARV)的二维环境结构为例,将神经网络中的每个神经元与二维的惯性栅格对应起来,用表示该神经网络结构中第i个神经元,并唯一代表着搜救装置在二维平面环境中的位置。在这个模型中,激励输入来源于代表目标的神经元和周围的神经元,而抑制激励只来源于代表障碍物的神经元。通过神经元活性输出值的分布情况来决策出搜救装置的下一时刻的行驶位置。
如图4所示,一种搜救方法,至少包含以下步骤:
步骤1、声纳传感器24测量搜救装置的前视环境,形成图像数据;
步骤2、图像处理模块56利用图像数据构建水下地图;
步骤3、图像处理模块56将构建的水下地图进行栅格化处理,并对所有栅格进行标记;
步骤4、搜救装置对水下地图的所有区域进行覆盖式搜索。
步骤3中的栅格标记还包含以下步骤:
步骤3.1、搜救装置利用生物启发神经网络模型,对水下地图进行搜索,将未搜索的区域标记为E;
步骤3.2、搜救装置将搜索过得区域标记为0,若发现目标物则标记为-E,同时对水下地图进行更新。
步骤4还包含以下步骤:
步骤4.1、搜救装置通过深度传感器21获得所处深度信息;
步骤4.2、搜救装置通过速度传感器22获得速度信息;
步骤4.3、搜救装置通过姿态传感器23获得姿态信息;
步骤4.4、搜救装置通过水下定位模块58进行定位;
步骤4.5、搜救装置通过获得的深度信息、速度信息及姿态信息,采用自治模式(AUV模式),利用生物启发神经网络模型,遍历水域所有位置;
步骤4.6、搜救装置将声呐图像及视频图像传输至水下高清摄像显示模块57;
步骤4.7、若搜救装置发现可疑目标,则采用手操作业模式,利用光学成像传感器25辨别可疑物。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种全覆盖水下搜救装置,其特征在于,包含:嵌入式控制器(1)、传感器系统(2)、上光端机(3)、下光端机(4)、水面监控系统(5)、手操器(6)及水下机器人本体(7);
所述的嵌入式控制器(1)及传感器系统(2)安装在水下机器人本体(7)上;
所述的嵌入式控制器(1)的输入端与传感器系统(2)的输出端连接,其输出端与下光端机(4)的输入端连接;
所述的上光端机(3)的输入端与下光端机(4)的输出端连接,其输出端与水面监控系统(5)的输入端连接;
所述的手操器(6)的输出端与水面监控系统(5)的输入端连接;
所述的水面监控系统(5)包含控制面板(51)、显示模块(52)、主处理器模块(53)、供电电源(54)、通信模块(55)、图像处理模块(56)、水下高清摄像显示模块(57)及水下定位模块(58);
所述的通信模块(55)、图像处理模块(56)、水下高清摄像显示模块(57)及水下定位模块(58)分别与主处理器模块(53)连接;
所述的主处理器模块(53)通过通信模块(56)与控制面板(51)连接;
所述的控制面板(51)与显示模块(52)连接;
所述的含控制面板(51)、显示模块(52)、主处理器模块(53)及通信模块(55)分别与供电电源(54)连接。
2.如权利要求1所述的全覆盖水下搜救装置,其特征在于,所述的嵌入式控制器(1)包含信号放大滤波模块、模数转换器、多路开关模块、串行通信接口及微处理器;
所述的多路开关模块的输出端与信号放大滤波模块的输入端连接;
所述的模数转换器的输入端与信号放大滤波模块的输出端连接;
所述的微处理器的输出端与模数转换器的输出端并联,且与串行通信接口连接。
3.如权利要求2所述的全覆盖水下搜救装置,其特征在于,所述的传感器系统(2)包含分别与多路开关模块输入端连接的深度传感器(21)、速度传感器(22)、姿态传感器(23)、声纳传感器(24)、光学成像传感器(25)、电池监控传感器(26)、推进监控传感器(27)。
4.一种如权利要求3所述的全覆盖水下搜救装置的搜救方法,其特征在于,至少包含以下步骤:
步骤1、声纳传感器(24)测量搜救装置的前视环境,形成图像数据;
步骤2、图像处理模块(56)利用图像数据构建水下地图;
步骤3、图像处理模块(56)将构建的水下地图进行栅格化处理,并对所有栅格进行标记;
步骤4、搜救装置对水下地图的所有区域进行覆盖式搜索。
5.如权利要求4所述的搜救方法,其特征在于,所述的步骤3中对栅格进行标记的步骤包含:
步骤3.1、搜救装置利用生物启发神经网络模型,对水下地图进行搜索,将未搜索的区域标记为E;
步骤3.2、搜救装置将搜索过得区域标记为0,若发现目标物则标记为-E,同时对水下地图进行更新。
6.如权利要求4所述的搜救方法,其特征在于,所述的步骤4包含以下步骤:
步骤4.1、搜救装置通过深度传感器(21)获得所处深度信息;
步骤4.2、搜救装置通过速度传感器(22)获得速度信息;
步骤4.3、搜救装置通过姿态传感器(23)获得姿态信息;
步骤4.4、搜救装置通过水下定位模块(58)进行定位;
步骤4.5、搜救装置通过获得的深度信息、速度信息及姿态信息,采用自治模式,利用生物启发神经网络模型,遍历水域所有位置;
步骤4.6、搜救装置将声呐图像及视频图像传输至水下高清摄像显示模块(57);
步骤4.7、若搜救装置发现可疑目标,则采用手操作业模式,利用光学成像传感器(25)辨别可疑物。
CN201310443669.3A 2013-09-26 2013-09-26 一种全覆盖水下搜救装置及其搜救方法 Expired - Fee Related CN103454697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310443669.3A CN103454697B (zh) 2013-09-26 2013-09-26 一种全覆盖水下搜救装置及其搜救方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310443669.3A CN103454697B (zh) 2013-09-26 2013-09-26 一种全覆盖水下搜救装置及其搜救方法

Publications (2)

Publication Number Publication Date
CN103454697A CN103454697A (zh) 2013-12-18
CN103454697B true CN103454697B (zh) 2016-05-04

Family

ID=49737265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310443669.3A Expired - Fee Related CN103454697B (zh) 2013-09-26 2013-09-26 一种全覆盖水下搜救装置及其搜救方法

Country Status (1)

Country Link
CN (1) CN103454697B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869824B (zh) * 2014-03-05 2017-02-08 河海大学常州校区 基于生物触角模型的多机器人水下目标搜寻方法及装置
CN104777845B (zh) * 2015-04-15 2018-04-03 上海海事大学 水下机器人的水下本体装置及自主避障方法
CN105035287A (zh) * 2015-07-23 2015-11-11 牛永友 一种基于数据通信的水下遗体探寻方法
CN105173036A (zh) * 2015-07-24 2015-12-23 任元华 基于神经网络识别的水下人体探测器
CN105109646A (zh) * 2015-07-24 2015-12-02 任元华 一种基于神经网络识别的水下人体探测方法
CN105083505A (zh) * 2015-07-25 2015-11-25 刘纪君 基于图像处理的船下水域检测系统
CN105197207A (zh) * 2015-10-29 2015-12-30 上海海事大学 一种具有双目视觉的搜救水下机器人装置
CN105460186A (zh) * 2016-01-08 2016-04-06 何惠威 一种便携式水下机器人
CN106864697B (zh) * 2017-02-27 2018-09-11 上海交通大学 一种自动化海上救援机器人
CN108051819A (zh) * 2017-11-13 2018-05-18 刘永风 一种深水救援方法
CN108037771A (zh) * 2017-12-07 2018-05-15 淮阴师范学院 一种多自治水下机器人搜索控制系统及其方法
CN109823494B (zh) * 2019-02-25 2020-11-03 上海海事大学 一种自动发热卫衣式救生衣
CN110490909B (zh) * 2019-08-27 2020-10-16 吉林大学 一种auv及目标跟踪方法、装置、介质
CN110646857B (zh) * 2019-09-12 2021-06-08 北京自动化控制设备研究所 水下磁目标分布式搜索方法
CN110750100B (zh) * 2019-11-08 2022-12-02 江苏科技大学 基于流函数法的水下搜救机器人路径规划方法
CN114071005B (zh) * 2020-08-07 2022-12-27 华为技术有限公司 一种对象检测方法、电子设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995992A (en) * 1997-11-17 1999-11-30 Bull Hn Information Systems Inc. Conditional truncation indicator control for a decimal numeric processor employing result truncation
CN101234665A (zh) * 2008-03-03 2008-08-06 中国科学院光电技术研究所 一种小型水下观测机器人
CN201619680U (zh) * 2010-02-23 2010-11-03 湖北工业大学 鱼式水下搜救器
CN101907711A (zh) * 2010-07-16 2010-12-08 浙江大学 一种自主水下机器人的同时检测与定位方法
CN102221448A (zh) * 2011-05-20 2011-10-19 大连海事大学 一种确定海上搜救区域的方法、系统及搜救模拟器
CN202350833U (zh) * 2011-12-14 2012-07-25 上海海事大学 水下机器人传感器信号采集与显示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995992A (en) * 1997-11-17 1999-11-30 Bull Hn Information Systems Inc. Conditional truncation indicator control for a decimal numeric processor employing result truncation
CN101234665A (zh) * 2008-03-03 2008-08-06 中国科学院光电技术研究所 一种小型水下观测机器人
CN201619680U (zh) * 2010-02-23 2010-11-03 湖北工业大学 鱼式水下搜救器
CN101907711A (zh) * 2010-07-16 2010-12-08 浙江大学 一种自主水下机器人的同时检测与定位方法
CN102221448A (zh) * 2011-05-20 2011-10-19 大连海事大学 一种确定海上搜救区域的方法、系统及搜救模拟器
CN202350833U (zh) * 2011-12-14 2012-07-25 上海海事大学 水下机器人传感器信号采集与显示装置

Also Published As

Publication number Publication date
CN103454697A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN103454697B (zh) 一种全覆盖水下搜救装置及其搜救方法
Ryuh et al. A school of robotic fish for mariculture monitoring in the sea coast
CN101825903B (zh) 一种遥控水下机器人水面控制方法
CN103057678B (zh) 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统
Bonin-Font et al. Visual sensing for autonomous underwater exploration and intervention tasks
CN103488175A (zh) 一种自治遥控水下机器人水下管道检测跟踪系统及检测方法
CN103823471A (zh) 一种矢量推进的小型四轴水下机器人控制系统
CN108408009A (zh) 一种基于树莓派Raspberry Pi控制器的智能水下航行器
CN106094606A (zh) 一种水面无人艇导航与控制遥操作平台
Guo et al. Research progress of path planning methods for autonomous underwater vehicle
CN206639376U (zh) 一种无人船群自动监测系统
CN106275329A (zh) 遥控潜水器和遥控潜水器系统
CN105197207A (zh) 一种具有双目视觉的搜救水下机器人装置
CN103439935A (zh) 一种基于状态机模型的水下机器人控制系统
CN111186542A (zh) 一种水下作业机器人
CN109144105A (zh) 一种船底智能水下清洗机器人、控制系统及控制方法
Xue et al. Proximal policy optimization with reciprocal velocity obstacle based collision avoidance path planning for multi-unmanned surface vehicles
Ji-Yong et al. Design and vision based autonomous capture of sea organism with absorptive type remotely operated vehicle
CN112162075A (zh) 一种用于水质监测的自主导航仿生机器鱼及其控制方法
CN111452939A (zh) 一种用于引水隧洞检测的自主巡线水下直升机
CN203753267U (zh) 分布式控制智能机器蛇
Zheng et al. Development and control of articulated amphibious spherical robot
Ferreira et al. Enhancing autonomous capabilities and human-robot interaction for unmanned surface vehicles
Bao et al. A decoupling three-dimensional motion control algorithm for spherical underwater robot
CN106826875B (zh) 一种仿生鱼型机器人控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160504

Termination date: 20180926