CN105841813A - 水下空间三维光谱成像仪及成像方法 - Google Patents
水下空间三维光谱成像仪及成像方法 Download PDFInfo
- Publication number
- CN105841813A CN105841813A CN201610310421.3A CN201610310421A CN105841813A CN 105841813 A CN105841813 A CN 105841813A CN 201610310421 A CN201610310421 A CN 201610310421A CN 105841813 A CN105841813 A CN 105841813A
- Authority
- CN
- China
- Prior art keywords
- lambda
- alpha
- water body
- spectrum
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 230000003595 spectral effect Effects 0.000 title claims abstract description 21
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 43
- 239000011521 glass Substances 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 50
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims 2
- 230000005389 magnetism Effects 0.000 claims 1
- 238000007789 sealing Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种水下空间三维光谱成像仪及成像方法,成像仪的底座上开有滑槽,所述滑槽的前端安装有前端永磁铁,所述滑槽的后端安装有后端永磁铁;所述支架安装在底座的滑槽上;所述支架内装有电磁铁;所述密封舱安装于支架上方;所述水体衰减系数测量仪固定于密封舱外侧,用于测量水体的衰减系数;所述成像光谱仪镜头透过玻璃窗口采集水下光谱图像;所述成像光谱仪、电磁铁和水体衰减系数测量仪均与控制单元相连。本发明成像方法是通过前后两位置的光谱图像,结合水体特性,计算物体的空间三维信息,并补偿水体对光谱图像的影响。本发明能在精确探测水下物体光谱信息的同时,计算出物体的空间三维信息,精度高,数据量大。
Description
技术领域
本发明涉及水下光谱成像仪,尤其涉及一种水下空间三维光谱成像仪及成像方法。
背景技术
光谱成像仪将空间信息与光谱探测相结合,是一种有效的探测手段,目前已经广泛运用于陆地上的目标识别、生物评估、环境检测等。但将其用于水下目标探测时,由于水体对不同波段的光衰减不同,通常直接获取的光谱信息并不能直接反应目标物体的光谱信息。目前用于水下成像的高光谱成像系统(CN203444122 U,US Patent 8,767,205)通常需要与水下测距装置协同工作,方可补偿水体的影响,获取水下光谱图像信息。且由于其成像仅为方式仅为成像面探测,故只能得到二维的像面信息,并不能获取物体的空间三维信息,故无法感知物体的位置、表面凹凸等。
发明内容
针对现有技术的不足,本发明提供一种水下空间三维光谱成像仪及成像方法,在获取物体光谱图像的同时,探测目标上每个点与光谱仪之间的空间距离,从而获取空间三维信息,并根据距离补偿水体对光谱的衰减。
为了解决上述问题,本发明是通过以下技术方案实现的:一种水下空间三维光谱成像仪,包括前端永磁铁、底座、密封舱、成像光谱仪镜头、成像光谱仪、后端永磁铁、电磁铁、支架、水体衰减系数测量仪、控制单元;其中,所述底座上开有滑槽,所述滑槽的前端安装有前端永磁铁,所述滑槽的后端安装有后端永磁铁;所述前端永磁铁和后端永磁铁的磁极相反;所述支架安装在底座的滑槽上,沿滑槽滑动;所述支架内装有电磁铁;所述密封舱安装于支架上方,所述密封舱上开有用于安装玻璃的玻璃窗口;所述成像光谱仪和控制单元均安装在密封舱内;所述水体衰减系数测量仪固定于密封舱外侧,用于测量水体的衰减系数;所述成像光谱仪镜头安装在成像光谱仪上,所述成像光谱仪镜头透过玻璃窗口采集水下光谱图像;所述成像光谱仪、电磁铁和水体衰减系数测量仪均与控制单元相连。
进一步的,还包括数据输出接口;所述数据输出接口安装在密封舱壳体上,数据输出接口与控制单元相连。
进一步的,所述控制单元包括电源、控制模块、数据处理模块和数据存储模块;所述电源为整个系统提供工作电压;所述成像光谱仪、水体衰减系数测量仪、控制模块和数据存储模块均与数据处理模块相连;所述数据存储模块与数据输出接口相连。
一种利用上述的光谱成像仪的成像方法,包括以下步骤:
(1)水体衰减系数测量仪测量水体的光谱衰减系数α(λk)(k∈(1,n)),λk为k波段的中心波长,k为正整数,n为波段数;
(2)控制模块控制电源中电流的方向使电磁铁的磁极朝向与前端永磁铁相反,则成像光谱仪移动到底座的前端,拍摄导轨靠前位置时的光谱图像;改变电磁铁中电流流向,则成像光谱仪移动到底座的后端,拍摄导轨靠后位置时的光谱图像;
(3)使用SIFT算法对步骤(2)所采集的两组光谱图像作位置匹配;
(4)根据步骤(1)所得的光谱衰减系数和步骤(3)所得的位置匹配后的光谱图像,计算每个像素点对应位置与相机之间的距离;记某一点(x,y)在底座前端的光谱响应为If(x,y,λk)(k∈(1,n)),后端的光谱响应为Ib(x,y,λk)(k∈(1,n)),计算点(x,y)与相机之间的距离D(x,y),获得空间三维信息;计算公式如下:
其中,λ1,λ2,…,λn为波长,L0为前后两个成像位置之间的距离;
(5)根据步骤(4)计算所得的距离D(x,y),补偿水体对光谱的衰减,获得水下物体的真实光谱,计算公式如下:
其中,Ic(x,y,λk)(∈(1,n))为点(x,y)在λk波段经补偿后的光谱强度;
(6)将步骤(4)得到的空间三维信息与步骤(5)得到的真实光谱信息进行匹配,获取三维空间光谱信息Ic(x,y,D,λn)。
与现有技术相比,本发明的有益效果是:光谱成像系统广泛运用于陆地上的植被、农作物监测,矿物识别,地形地貌观测等领域,但在水下运用时,由于水体对不同波段的光有不同的衰减特性,且随着距离不同,衰减程度也会发生变化,因此成像光谱仪不能直接获得准确的光谱。现有的水下成像光谱系统工作时,需要额外的测距装置,且无法获取每个像素点与相机之间的距离。本发明的系统通过光谱数据处理的算法,获取每个像素点的水下距离,并根据该距离补偿光谱数据,从而获取包含每个像素点空间三维位置,以及光谱数据的信息,不但能用于水下生物监测、矿物识别、目标防伪,也能同时获取水下物体的三维图像、水下地势地貌等,在丰富采集信息量的同时,避免了额外的测距装置。
附图说明
图1是水下空间三维光谱成像仪的主视图;
图2是水下空间三维光谱成像仪的左视图;
图3是水下空间三维光谱成像仪的体统框图;
图中,前端永磁铁1、支架2、光谱仪密封舱3、成像光谱仪镜头4、成像光谱仪5、后端永磁铁6、电磁铁7、支架8、数据输出接口9、水体衰减系数测量仪10、控制单元11。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。
如图1、2所示,本发明包括前端永磁铁1、底座2、密封舱3、成像光谱仪镜头4、成像光谱仪5、后端永磁铁6、电磁铁7、支架8、数据输出接口9、水体衰减系数测量仪10、控制单元11;其中,所述底座2上开有滑槽,所述滑槽的前端安装有前端永磁铁1,所述滑槽的后端安装有后端永磁铁6;所述前端永磁铁1和后端永磁铁6的磁极相反;所述支架8安装在底座2的滑槽上,沿滑槽滑动;所述支架8内装有电磁铁7;所述密封舱3安装于支架8上方,所述密封舱3上开有用于安装玻璃的玻璃窗口;所述成像光谱仪5和控制单元11均安装在密封舱3内;所述水体衰减系数测量仪10固定于密封舱3外侧,用于测量水体的衰减系数;所述成像光谱仪镜头4安装在成像光谱仪5上,所述成像光谱仪镜头4透过玻璃窗口采集水下光谱图像;所述成像光谱仪5、电磁铁7和水体衰减系数测量仪10均与控制单元11相连。所述数据输出接口9安装在密封舱3壳体上,数据输出接口9与控制单元11相连。
所述控制单元11包括电源、控制模块、数据处理模块和数据存储模块;所述电源为整个系统提供工作电压;所述成像光谱仪5、水体衰减系数测量仪10、控制模块和数据存储模块均与数据处理模块相连;所述数据存储模块与数据输出接口9相连。
本实施例中电源可以采用松下公司LC-RA127R2型号的产品,但不限于从;控制模块可以采用西门子公司S7-300PLC信号的产品,但不限于从;数据处理模块可以采用酷道公司K7DUE Sam3x8e信号的产品,但不限于从;数据存储模块可以采用上海易芯公司AT25040信号的产品,但不限于从。
一种利用上三维光谱成像仪成像的方法,包括以下步骤:
(1)水体衰减系数测量仪10测量水体的光谱衰减系数α(λk)(k∈(1,n)),λk为k波段的中心波长,k为正整数,n为波段数;
(2)控制模块控制电源中电流的方向使电磁铁7的磁极朝向与前端永磁铁1相反,则成像光谱仪5移动到底座2的前端,拍摄导轨靠前位置时的光谱图像;改变电磁铁7中电流流向,则成像光谱仪5移动到底座2的后端,拍摄导轨靠后位置时的光谱图像;
(3)使用SIFT算法对步骤(2)所采集的两组光谱图像作位置匹配;
(4)根据步骤(1)所得的光谱衰减系数和步骤(3)所得的位置匹配后的光谱图像,计算每个像素点对应位置与相机之间的距离;记某一点(x,y)在底座前端的光谱响应为If(x,y,λk)(k∈(1,n)),后端的光谱响应为Ib(x,y,λk)(k∈(1,n)),计算点(x,y)与相机之间的距离D(x,y),获得空间三维信息;计算公式如下:
其中,λ1,λ2,…,λn为波长,L0为前后两个成像位置之间的距离;
(5)根据步骤(4)计算所得的距离D(x,y),补偿水体对光谱的衰减,获得水下物体的真实光谱,计算公式如下:
其中,Ic(x,y,λk)(∈(1,n))为点(x,y)在λk波段经补偿后的光谱强度;
(6)将步骤(4)得到的空间三维信息与步骤(5)得到的真实光谱信息进行匹配,获取三维空间光谱信息Ic(x,y,D,λn)。
Claims (4)
1.一种水下空间三维光谱成像仪,其特征在于,包括前端永磁铁(1)、底座(2)、密封舱(3)、成像光谱仪镜头(4)、成像光谱仪(5)、后端永磁铁(6)、电磁铁(7)、支架(8)、水体衰减系数测量仪(10)、控制单元(11)等;其中,所述底座(2)上开有滑槽,所述滑槽的前端安装有前端永磁铁(1),所述滑槽的后端安装有后端永磁铁(6);所述前端永磁铁(1)和后端永磁铁(6)的磁极相反;所述支架(8)安装在底座(2)的滑槽上,沿滑槽滑动;所述支架(8)内装有电磁铁(7);所述密封舱(3)安装于支架(8)上方,所述密封舱(3)上开有用于安装玻璃的玻璃窗口;所述成像光谱仪(5)和控制单元(11)均安装在密封舱(3)内;所述水体衰减系数测量仪(10)固定于密封舱(3)外侧,用于测量水体的衰减系数;所述成像光谱仪镜头(4)安装在成像光谱仪(5)上,所述成像光谱仪镜头(4)透过玻璃窗口采集水下光谱图像;所述成像光谱仪(5)、电磁铁(7)和水体衰减系数测量仪(10)均与控制单元(11)相连。
2.根据权利要求1所述的水下空间三维光谱成像仪,其特征在于,还包括数据输出接口(9);所述数据输出接口(9)安装在密封舱(3)壳体上,数据输出接口(9)与控制单元(11)相连。
3.根据权利要求2所述的水下空间三维光谱成像仪,其特征在于,所述控制单元(11)包括电源、控制模块、数据处理模块和数据存储模块;所述电源为整个系统提供工作电压;所述成像光谱仪(5)、水体衰减系数测量仪(10)、控制模块和数据存储模块均与数据处理模块相连;所述数据存储模块与数据输出接口(9)相连。
4.一种利用权利要求3所述的水下空间三维光谱成像仪的成像方法,其特征在于,包括以下步骤:
(1)水体衰减系数测量仪(10)测量水体的光谱衰减系数α(λk)(k∈(1,n)),λk为k波段的中心波长,k为正整数,n为波段数;
(2)控制模块控制电源中电流的方向使电磁铁(7)的磁极朝向与前端永磁铁(1)相反,则成像光谱仪(5)移动到底座(2)的前端,拍摄导轨靠前位置时的光谱图像;改变电磁铁(7)中电流流向,则成像光谱仪(5)移动到底座(2)的后端,拍摄导轨靠后位置时的光谱图像;
(3)使用SIFT算法对步骤(2)所采集的两组光谱图像作位置匹配;
(4)根据步骤(1)所得的光谱衰减系数和步骤(3)所得的位置匹配后的光谱图像,计算每个像素点对应位置与相机之间的距离;记某一点(x,y)在底座前端的光谱响应为If(x,y,λk)(k∈(1,n)),后端的光谱响应为Ib(x,y,λk)(k∈(1,n)),计算点(x,y)与相机之间的距离D(x,y),获得空间三维信息;计算公式如下:
其中,λ1,λ2,...,λn为波长,L0为前后两个成像位置之间的距离;
(5)根据步骤4计算所得的距离D(x,y),补偿水体对光谱的衰减,获得水下物体的真实光谱,计算公式如下:
其中,Ic(x,y,λk)(∈(1,n))为点(x,y)在λk波段经补偿后的光谱强度;
(6)将步骤4得到的空间三维信息与步骤5得到的真实光谱信息进行匹配,获取三维空间光谱信息Ic(x,y,D,λn)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610310421.3A CN105841813B (zh) | 2016-05-11 | 2016-05-11 | 水下空间三维光谱成像仪及成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610310421.3A CN105841813B (zh) | 2016-05-11 | 2016-05-11 | 水下空间三维光谱成像仪及成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105841813A true CN105841813A (zh) | 2016-08-10 |
CN105841813B CN105841813B (zh) | 2017-12-26 |
Family
ID=56591648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610310421.3A Expired - Fee Related CN105841813B (zh) | 2016-05-11 | 2016-05-11 | 水下空间三维光谱成像仪及成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105841813B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106291737A (zh) * | 2016-08-30 | 2017-01-04 | 广州市固润光电科技有限公司 | 一种水下光谱复合成像探测系统及方法 |
CN107764183A (zh) * | 2017-11-07 | 2018-03-06 | 浙江大学 | 用于水下目标物尺寸测量的原位激光‑图像融合测量系统及其测量方法 |
CN108591866A (zh) * | 2018-04-26 | 2018-09-28 | 广州市科锐达光电技术有限公司 | 一种漫反射led线条灯 |
CN109410180A (zh) * | 2018-09-30 | 2019-03-01 | 清华-伯克利深圳学院筹备办公室 | 衰减系数的确定方法、装置、计算机设备和存储介质 |
CN109444056A (zh) * | 2018-10-30 | 2019-03-08 | 浙江大学 | 一种双目成像式水下光谱反射率原位测量装置及测量方法 |
CN110944153A (zh) * | 2019-12-03 | 2020-03-31 | 杭州电子科技大学 | 一种用于水下的四目立体视觉成像系统及成像方法 |
EP3629717A4 (en) * | 2017-05-29 | 2021-03-03 | Ecotone AS | METHOD AND SYSTEM FOR HYPERSPECTRAL UNDERWATER IMAGING OF FISH |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030202179A1 (en) * | 2002-04-29 | 2003-10-30 | The Curators Of The University Of Missouri | Ultrasensitive spectrophotometer |
CN101839765A (zh) * | 2010-03-24 | 2010-09-22 | 杭州远方光电信息有限公司 | 恒温积分球光谱分析装置 |
US20110205536A1 (en) * | 2008-05-21 | 2011-08-25 | Ntnu Technoogy Transfer As | Underwater hyperspectral imaging |
CN103278861A (zh) * | 2013-05-16 | 2013-09-04 | 浙江大学 | 水下高光谱成像系统 |
CN205748639U (zh) * | 2016-05-11 | 2016-11-30 | 浙江大学 | 一种水下空间三维光谱成像仪 |
-
2016
- 2016-05-11 CN CN201610310421.3A patent/CN105841813B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030202179A1 (en) * | 2002-04-29 | 2003-10-30 | The Curators Of The University Of Missouri | Ultrasensitive spectrophotometer |
US20110205536A1 (en) * | 2008-05-21 | 2011-08-25 | Ntnu Technoogy Transfer As | Underwater hyperspectral imaging |
CN101839765A (zh) * | 2010-03-24 | 2010-09-22 | 杭州远方光电信息有限公司 | 恒温积分球光谱分析装置 |
CN103278861A (zh) * | 2013-05-16 | 2013-09-04 | 浙江大学 | 水下高光谱成像系统 |
CN205748639U (zh) * | 2016-05-11 | 2016-11-30 | 浙江大学 | 一种水下空间三维光谱成像仪 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106291737A (zh) * | 2016-08-30 | 2017-01-04 | 广州市固润光电科技有限公司 | 一种水下光谱复合成像探测系统及方法 |
CN106291737B (zh) * | 2016-08-30 | 2018-08-14 | 广州市固润光电科技有限公司 | 一种水下光谱复合成像探测系统及方法 |
EP3629717A4 (en) * | 2017-05-29 | 2021-03-03 | Ecotone AS | METHOD AND SYSTEM FOR HYPERSPECTRAL UNDERWATER IMAGING OF FISH |
CN107764183A (zh) * | 2017-11-07 | 2018-03-06 | 浙江大学 | 用于水下目标物尺寸测量的原位激光‑图像融合测量系统及其测量方法 |
CN108591866A (zh) * | 2018-04-26 | 2018-09-28 | 广州市科锐达光电技术有限公司 | 一种漫反射led线条灯 |
CN109410180A (zh) * | 2018-09-30 | 2019-03-01 | 清华-伯克利深圳学院筹备办公室 | 衰减系数的确定方法、装置、计算机设备和存储介质 |
CN109444056A (zh) * | 2018-10-30 | 2019-03-08 | 浙江大学 | 一种双目成像式水下光谱反射率原位测量装置及测量方法 |
CN109444056B (zh) * | 2018-10-30 | 2024-03-01 | 浙江大学 | 一种双目成像式水下光谱反射率原位测量装置及测量方法 |
CN110944153A (zh) * | 2019-12-03 | 2020-03-31 | 杭州电子科技大学 | 一种用于水下的四目立体视觉成像系统及成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105841813B (zh) | 2017-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105841813A (zh) | 水下空间三维光谱成像仪及成像方法 | |
CN205748639U (zh) | 一种水下空间三维光谱成像仪 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
ES2525011T3 (es) | Sistema optrónico y procedimiento de elaboración de imágenes en tres dimensiones dedicadas a la identificación | |
Wallace EURASIP Member et al. | Full waveform analysis for long-range 3D imaging laser radar | |
CN105225482A (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
KR102668750B1 (ko) | 공간정보 인식장치 | |
CN109444056A (zh) | 一种双目成像式水下光谱反射率原位测量装置及测量方法 | |
CN106546513A (zh) | 一种基于正交双视场的三维降水粒子测量与重构装置及方法 | |
CN105741379A (zh) | 一种变电站全景巡检方法 | |
CN102621102A (zh) | 基于ccd激光雷达的水平能见度的测量方法 | |
CN107271371A (zh) | 一种浮游生物偏振成像仪 | |
CN106197382B (zh) | 一种车载单摄像头目标动态测距方法 | |
CN114923665B (zh) | 波浪三维高度场的图像重构方法及图像重构试验系统 | |
Walia et al. | Gated2gated: Self-supervised depth estimation from gated images | |
CN115909025A (zh) | 一种小天体表面采样点地形视觉自主检测识别方法 | |
Yang et al. | An RGB channel operation for removal of the difference of atmospheric scattering and its application on total sky cloud detection | |
CN113310851B (zh) | 一种实时浑浊介质目标识别系统和方法 | |
CN110097623A (zh) | 一种非同源图像数据信息融合处理方法及系统 | |
CN113327271A (zh) | 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 | |
Walz et al. | Gated stereo: Joint depth estimation from gated and wide-baseline active stereo cues | |
CN113919398B (zh) | 一种基于深度学习的非视域目标信号辨识方法 | |
CN102735701A (zh) | 一种核部件多参数集成检测系统 | |
CN207114374U (zh) | 一种复合绝缘子憎水性等级图像检测用图像检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171226 Termination date: 20200511 |