CN105628204A - 一种自动调节的高光谱成像系统及成像方法 - Google Patents

一种自动调节的高光谱成像系统及成像方法 Download PDF

Info

Publication number
CN105628204A
CN105628204A CN201610116511.9A CN201610116511A CN105628204A CN 105628204 A CN105628204 A CN 105628204A CN 201610116511 A CN201610116511 A CN 201610116511A CN 105628204 A CN105628204 A CN 105628204A
Authority
CN
China
Prior art keywords
light source
height
sensor
equipment
stage microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610116511.9A
Other languages
English (en)
Other versions
CN105628204B (zh
Inventor
李绍稳
齐海军
金�秀
赵刘
温淑娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN201610116511.9A priority Critical patent/CN105628204B/zh
Publication of CN105628204A publication Critical patent/CN105628204A/zh
Application granted granted Critical
Publication of CN105628204B publication Critical patent/CN105628204B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种自动调节的高光谱成像系统,包括:图像采集设备、载物台、光源设备、驱动设备、传动设备、传感器设备和主控单元;主控单元,与图像采集设备、传感器设备和驱动设备连接,获取被测对象的图像数据和光谱信息,分析图像数据中各像素的平均光谱反射系数的均方根值和标准差,计算出最佳位置系数值,并通过传感器设备获取最佳位置系数值对应的光源设备和载物台的空间位置信息;主控单元控制驱动设备驱动传动设备动作,调整光源设备的光源照射角度、光源设备的高度和载物台的高度位于最佳位置系数值对应的空间位置。

Description

一种自动调节的高光谱成像系统及成像方法
技术领域
本发明涉及高光谱成像技术领域,尤其涉及一种自动调节的高光谱成像系统及成像方法。
背景技术
高光谱成像技术是近二十年来发展起来的基于非常多窄波段的影像数据技术,它集中了光学、光电子学、电子学、信息处理、计算机科学等领域的先进技术,是传统的二维成像技术和光谱技术有机的结合在一起的一门新兴技术。高光谱成像技术的定义是在多光谱成像的基础上,在从紫外到近红外的光谱范围内,利用成像光谱仪,在光谱覆盖范围内的数十或数百条光谱波段对被测对象连续成像。在获得被测对象空间特征成像的同时,也获得了被测对象的光谱信息。高光谱成像技术具有超多波段、高的光谱分辨率、波段窄、光谱范围广和图谱合一等特点。优势在于采集到的图像信息量丰富,识别度较高和数据描述模型多。由于物体的反射光谱具有“指纹”效应,不同物不同谱、同物一定同谱的远离来分辨不同的物质信息。
由于高光谱测试中各种条件控制的不一样,如光源的入射角度、光源的高度以及被测对象与镜头的高度等条件的差异,可能导致不同研究之间的高光谱数据无共享性,同时也可能导致同一研究中不同时间测试的高光谱数据无可比性,使得利用高光谱对被测对象的性质进行量化研究受到限制;基于此,本发明通过主控单元自动分析计算出光源入射角度、光源的高度以及载物台的高度的最佳位置,并控制光源设备和载物台自动调节至最佳位置,以确保获取能共享的高光谱数据。
发明内容
基于背景技术存在的技术问题,本发明提出了一种自动调节的高光谱成像系统及成像方法。
本发明提出的自动调节的高光谱成像系统,包括:图像采集设备、载物台、光源设备、驱动设备、传动设备、传感器设备和主控单元;
图像采集设备,采集载物台上被测对象的图像数据和光谱信息;
光源设备,为图像采集设备采集图像数据提供光源;
驱动设备,其与主控单元和传动设备连接,根据主控单元指令驱动传动设备运动;
传动设备,与光源设备和载物台连接,根据驱动设备的驱动动作调节光源设备的光源照射角度、光源设备的高度和载物台的高度;
传感器设备,检测所述光源设备和载物台的空间位置;
主控单元,与图像采集设备、传感器设备和驱动设备连接,通过获取被测对象的图像数据和光谱信息,分析被测对象不同图像数据中各像素的平均光谱反射系数的均方根值和标准差,计算出最佳位置系数值,并通过传感器设备获取最佳位置系数值对应的光源设备和载物台的空间位置信息;主控单元根据预设指令,通过传感器设备获取实时光源设备和载物台的空间位置信息,控制驱动设备驱动传动设备动作,调整光源设备的光源照射角度、光源设备的高度和载物台的高度,直至光源设备和载物台位于最佳位置系数值对应的空间位置。
优选地,所述的图像采集设备为高光谱相机。
优选地,所述的光源设备采用卤钨灯。
优选地,所述的传感器设备包括:
角度传感器,用于检测光源设备的光源照射角度;
第一高度传感器,用于检测光源设备的高度;
第二高度传感器,用于检测载物台的高度。
本发明还提出了采用上述自动调节的高光谱成像系统的高光谱成像方法,包括以下步骤:
S1、采集载物台上被测对象的图像数据和光谱信息;
S2、调整光源设备的光源照射角度、光源设备的高度和载物台的高度,记录被测对象的图像数据和光谱信息,并记录传感器设备的检测值;
S3、获取记录的被测对象的图像数据和光谱信息,分析图像数据中各像素的平均光谱反射系数的均方根值和标准差,并计算出最佳位置系数值Q;
S4、记录取得最佳位置系数值Q时对应的传感器设备的检测值,包括角度传感器的检测值M1、第一高度传感器的检测值M2和第二高度传感器的检测值M3;
S5、调整光源设备的光源照射角度、光源设备的高度和载物台的高度,使角度传感器的检测值与检测值M1相同、第一高度传感器的检测值与检测值M2相同、第二高度传感器的检测值与检测值M3相同。
优选地,在步骤S3中,计算最佳位置系数值Q包括以下步骤:
S31、将各像素在各波段的光谱反射系数进行滤波平滑,去除噪声;
S32、将各像素在各波段的光谱反射系数取平均值,作为该像素的反射系数;
S33、将各像素的反射系数进行归一化处理;
S34、计算各像素归一化处理后的均方根值RMS和标准差σ;
S35、根据公式Q=RMS-σ,计算出最大值Q作为最佳位置系数值;
本发明中,主控单元与图像采集设备、传感器设备和驱动设备连接,通过获取图像采集设备采集的图像数据和光谱信息,计算出图像数据中各像素平均光谱反射系数的均方根值和标准差,并分析传感器设备的检测结果,控制驱动设备工作。本发明采用主控单元指令控制驱动设备工作,驱动设备驱动传动设备动作,传动设备调整光源设备和载物台的空间位置,以达到最佳工作状态;本发明实现了系统内各设备的自动调节,避免了人工操作带来的误差,提高了采集到的图像数据的精准度,确保图像数据的可共享性。
附图说明
图1为一种自动调节的高光谱成像系统的结构示意图;
图2为一种自动调节的高光谱成像方法的步骤示意图。
具体实施方式
如图1所示,图1为本发明提出的一种自动调节的高光谱成像系统。
参照图1,本发明提出的一种自动调节的高光谱成像系统,包括:图像采集设备1、载物台2、光源设备3、驱动设备、传动设备、传感器设备和主控单元;
图像采集设备1用于采集载物台2上被测对象的图像数据和光谱信息,本实施方式中,图像采集设备1为高光谱相机,在获取被测对象的空间特征成像的同时可获得被测对象的光谱信息;
光源设备3为图像采集设备1采集图像数据和光谱信息提供稳定的光源,本实施方式中采用卤钨灯,以保证采集过程中的色温和光源波长范围要求;
驱动设备与主控单元和传动设备连接,根据主控单元指令驱动传动设备运动;
传动设备与光源设备3和载物台2连接,根据驱动设备的驱动动作调节光源设备3的光源照射角度、光源设备3的高度和载物台2的高度;
传感器设备用于检测所述光源设备3和载物台2的空间位置,包括:
角度传感器4,用于检测光源设备3的光源照射角度;
第一高度传感器5,用于检测光源设备3的高度;
第二高度传感器6,用于检测载物台2的高度。
主控单元,与图像采集设备1、传感器设备和驱动设备连接,通过获取图像采集设备1采集的图像数据和光谱信息,分析被测对象图像数据中各像素的平均光谱反射系数的均方根值和标准差,计算出最佳位置系数值,并通过传感器设备获取最佳位置系数值对应的光源设备3和载物台2的空间位置信息;主控单元根据预设指令,通过传感器设备获取实时光源设备3和载物台2的空间位置信息,控制驱动设备驱动传动设备动作,调整光源设备3的光源照射角度、光源设备3的高度和载物台2的高度,直至光源设备3和载物台2位于最佳位置系数值对应的空间位置。
本实施方式中,主控单元内预设时间值为10分钟,在预设时间段内,主控单元指令控制驱动设备驱动传动设备动作,调整光源设备3和载物台2的空间位置,同时控制图像采集设备1动态地对被测对象进行图像数据和光谱信息的采集,到达预设时间值时,图像采集设备1停止采集动作,主控单元根据预设时间段内采集的图像数据和光谱信息,分析被测对象的图像数据中各像素的平均光谱反射系数的均方根值和标准差,计算出最佳位置系数值,并通过传感器设备获取最佳位置系数值对应的光源设备3和载物台2的空间位置信息;主控单元通过传感器设备获取实时光源设备3和载物台2的空间位置信息,控制驱动设备驱动传动设备动作,调整光源设备3的光源照射角度、光源设备3的高度和载物台2的高度,直至光源设备3和载物台2位于最佳位置系数值对应的空间位置。
本实施方式中,光源设备3可转动的连接于第一横杆7上,以满足采集过程中对光源照射角度的不同要求,第一横杆7上安装有角度传感器4,用于检测光源照射角度;第一伸缩杆8与第二伸缩杆9分别连接于第一横杆7的两端,且第一伸缩杆8与第二伸缩杆9均垂直于第一横杆7,第一伸缩杆8上安装有第一高度传感器5,用于检测光源设备3的高度;第一竖杆11的一端与高光谱相机连接,另一端固定连接于整体支架上;载物台2与第三伸缩杆10连接,并通过第三伸缩杆10固定于整体支架上,第三伸缩杆10与第一竖杆11平行设置,第三伸缩杆10上安装有第二高度传感器6,用于检测载物台2的高度;传动设备分别与光源设备3、第一伸缩杆8、第二伸缩杆9和第三伸缩杆10连接,驱动设备根据主控单元指令驱动传动设备动作,以调整光源设备3的光源照射角度、光源设备3的高度和载物台2的高度,从而实现光源设备3和载物台2不同位置的自动调节,以达到最佳的工作状态。
如图2所示,图2为本发明提出的一种自动调节的高光谱成像方法。
参照图2,本发明提出的一种自动调节的高光谱成像方法,具体操作如下:为避免大自然的光线对采集图像数据的影响,本操作过程在暗室内进行;
S1、打开灯源设备,将被测对象置于载物台2上,使高光谱相机的镜头垂直拍射被测对象;
S2、主控单元指令控制驱动部件工作以驱动传动设备,传动设备带动光源设备3和载物台2运动以调整光源设备3的光源照射角度、光源设备3的高度和载物台2的高度;同时,主控单元记录被测对象的图像数据和光谱信息,并记录光源设备3、第一伸缩杆8、第二伸缩杆9和第三伸缩杆10在不同位置时,角度传感器4、第一高度传感器5、第二高度传感器6的检测值;
S3、主控单元根据记录的图像数据中各像素和各波段的光谱反射系数,计算出最佳位置系数值Q;
S4、记录取得最佳位置系数值Q时对应的传感器设备的检测值,包括角度传感器4的检测值M1、第一高度传感器5的检测值M2和第二高度传感器6的检测值M3;
S5、主控单元指令控制驱动设备运动,以驱动传动设备,从而调整光源设备3的光源照射角度与检测值M1相同、指令控制光源设备3的高度与检测值M2相同、指令控制载物台2的高度与检测值M3相同。
本实施方式中,在步骤S3中,计算最佳位置系数值Q包括以下步骤:
S31、将各像素在各波段的光谱反射系数进行滤波平滑,去除噪声;
S32、将各像素在各波段的光谱反射系数取平均值,作为该像素的反射系数;
S33、将各像素的反射系数进行归一化处理;
S34、计算各像素归一化处理后的均方根值RMS和标准差σ;
S35、根据公式Q=RMS-σ,计算出最大值Q作为最佳位置系数值;
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种自动调节的高光谱成像系统,其特征在于,包括:图像采集设备(1)、载物台(2)、光源设备(3)、驱动设备、传动设备、传感器设备和主控单元;
图像采集设备(1),采集载物台(2)上被测对象的图像数据和光谱信息;
光源设备(3),为图像采集设备(1)工作提供光源;
驱动设备,其与主控单元和传动设备连接,根据主控单元指令驱动传动设备运动;
传动设备,与光源设备(3)、载物台(2)连接,根据驱动设备的驱动动作调节光源设备(3)的光源照射角度、光源设备(3)的高度和载物台(2)的高度;
传感器设备,检测所述光源设备(3)和载物台(2)的空间位置;
主控单元,与图像采集设备(1)、传感器设备和驱动设备连接,通过获取被测对象的图像数据和光谱信息,分析图像数据中各像素的平均光谱反射系数的均方根值和标准差,计算出最佳位置系数值,并通过传感器设备获取最佳位置系数值对应的光源设备(3)和载物台(2)的空间位置信息;控制驱动设备驱动传动设备动作,调整光源设备(3)的光源照射角度、光源设备(3)的高度和载物台(2)的高度位于最佳位置系数值对应的空间位置。
2.如权利要求1所述的自动调节的高光谱成像系统,其特征在于,所述的图像采集设备(1)为高光谱相机。
3.如权利要求1所述的自动调节的高光谱成像系统,其特征在于,所述的光源设备(3)采用卤钨灯。
4.如权利要求1所述的自动调节的高光谱成像系统,其特征在于,所述的传感器设备包括:
角度传感器,用于检测光源设备(3)的光源照射角度;
第一高度传感器,用于检测光源设备(3)的高度;
第二高度传感器,用于检测载物台(2)的高度。
5.一种如权利要求1-5任一项所述的高光谱成像系统进行高光谱成像方法,其特征在于,包括以下步骤:
S1、采集载物台(2)上被测对象的图像数据和光谱信息;
S2、调整光源设备(3)的光源照射角度、光源设备(3)的高度和载物台(2)的高度,记录被测对象的图像数据和光谱信息,并记录传感器设备的检测值;
S3、获取记录的被测对象的图像数据和光谱信息,分析图像数据中各像素的平均光谱反射系数的均方根值和标准差,并计算出最佳位置系数值Q;
S4、记录取得最佳位置系数值Q时对应的传感器设备的检测值,包括角度传感器的检测值M1、第一高度传感器的检测值M2和第二高度传感器的检测值M3;
S5、调整光源设备(3)的光源照射角度、光源设备(3)的高度和载物台(2)的高度,使角度传感器的检测值与检测值M1相同、第一高度传感器的检测值与检测值M2相同、第二高度传感器的检测值与检测值M3相同。
6.如权利要求5所述的高光谱成像方法,其特征在于,在步骤S3中,计算最佳位置系数值Q包括以下步骤:
S31、将各像素在各波段的光谱反射系数进行滤波平滑,去除噪声;
S32、将各像素在各波段的光谱反射系数取平均值,作为该像素的反射系数;
S33、将各像素的反射系数进行归一化处理;
S34、计算各像素归一化处理后的均方根值RMS和标准差σ;
S35、根据公式Q=RMS-σ,计算出最大值Q作为最佳位置系数值。
CN201610116511.9A 2016-03-02 2016-03-02 一种自动调节的高光谱成像系统及成像方法 Expired - Fee Related CN105628204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610116511.9A CN105628204B (zh) 2016-03-02 2016-03-02 一种自动调节的高光谱成像系统及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610116511.9A CN105628204B (zh) 2016-03-02 2016-03-02 一种自动调节的高光谱成像系统及成像方法

Publications (2)

Publication Number Publication Date
CN105628204A true CN105628204A (zh) 2016-06-01
CN105628204B CN105628204B (zh) 2017-09-15

Family

ID=56043348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610116511.9A Expired - Fee Related CN105628204B (zh) 2016-03-02 2016-03-02 一种自动调节的高光谱成像系统及成像方法

Country Status (1)

Country Link
CN (1) CN105628204B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290289A (zh) * 2017-06-08 2017-10-24 华中科技大学 一种几何参数连续可调的室内高光谱检测装置
CN108872265A (zh) * 2018-07-23 2018-11-23 珠海格力智能装备有限公司 检测方法、装置及系统
CN109444052A (zh) * 2018-10-29 2019-03-08 合刃科技(武汉)有限公司 高光谱成像装置、成像系统及监控方法
CN112139072A (zh) * 2020-08-31 2020-12-29 西京学院 一种基于光谱法的多功能选色机
CN113973159A (zh) * 2021-11-24 2022-01-25 威海华菱光电股份有限公司 图像扫描系统和扫描方法
CN117647546A (zh) * 2024-01-29 2024-03-05 浙江华视智检科技有限公司 一种安检成像方法和相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258302A (ja) * 1999-03-05 2000-09-22 Meidensha Corp 車両の駆動系試験装置
CN101571451A (zh) * 2008-04-28 2009-11-04 广州市光机电技术研究院 Led光源综合发光特性连续检测装置
JP2011007647A (ja) * 2009-06-26 2011-01-13 Shimadzu Corp Tft基板検査装置用プローバフレームの検査装置
CN102279048A (zh) * 2011-04-12 2011-12-14 华东师范大学 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法
US20120207274A1 (en) * 2011-02-15 2012-08-16 Samsung Electronics Co., Ltd. X-ray imaging system and positioning method of the same
CN102654421A (zh) * 2011-03-02 2012-09-05 中国科学院电子学研究所 一种高空间、高光谱分辨率的高性能成像光谱仪
CN104635428A (zh) * 2013-11-14 2015-05-20 上海微电子装备有限公司 一种基于图像处理的调焦调平测量装置和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258302A (ja) * 1999-03-05 2000-09-22 Meidensha Corp 車両の駆動系試験装置
CN101571451A (zh) * 2008-04-28 2009-11-04 广州市光机电技术研究院 Led光源综合发光特性连续检测装置
JP2011007647A (ja) * 2009-06-26 2011-01-13 Shimadzu Corp Tft基板検査装置用プローバフレームの検査装置
US20120207274A1 (en) * 2011-02-15 2012-08-16 Samsung Electronics Co., Ltd. X-ray imaging system and positioning method of the same
CN102654421A (zh) * 2011-03-02 2012-09-05 中国科学院电子学研究所 一种高空间、高光谱分辨率的高性能成像光谱仪
CN102279048A (zh) * 2011-04-12 2011-12-14 华东师范大学 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法
CN104635428A (zh) * 2013-11-14 2015-05-20 上海微电子装备有限公司 一种基于图像处理的调焦调平测量装置和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290289A (zh) * 2017-06-08 2017-10-24 华中科技大学 一种几何参数连续可调的室内高光谱检测装置
CN108872265A (zh) * 2018-07-23 2018-11-23 珠海格力智能装备有限公司 检测方法、装置及系统
CN109444052A (zh) * 2018-10-29 2019-03-08 合刃科技(武汉)有限公司 高光谱成像装置、成像系统及监控方法
CN112139072A (zh) * 2020-08-31 2020-12-29 西京学院 一种基于光谱法的多功能选色机
CN113973159A (zh) * 2021-11-24 2022-01-25 威海华菱光电股份有限公司 图像扫描系统和扫描方法
CN117647546A (zh) * 2024-01-29 2024-03-05 浙江华视智检科技有限公司 一种安检成像方法和相关装置
CN117647546B (zh) * 2024-01-29 2024-05-07 浙江华视智检科技有限公司 一种安检成像方法和相关装置

Also Published As

Publication number Publication date
CN105628204B (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN105628204A (zh) 一种自动调节的高光谱成像系统及成像方法
CN103018180B (zh) 一种基于多源光信息技术的棉花病害检测方法和装置
CN102081039A (zh) 一种环境可控的作物营养水分高光谱图像检测装置
CN105372203B (zh) 基于多传感器融合的新鲜苹果损伤敏感度无损检测方法
CN103018196A (zh) 一种油菜需水信息的快速探测方法
CN105021617B (zh) 基于高光谱成像的整株水稻叶绿素含量测量装置及方法
WO2018081452A1 (en) High throughput, high resolution optical metrology for reflective and transmissive nanophotonic devices
JP2008281513A (ja) 文化財検査装置
JP5632060B1 (ja) ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム
Ochoa et al. Hyperspectral imaging system for disease scanning on banana plants
US11499920B2 (en) Imaging assisted scanning spectroscopy for gem identification
CN103018179A (zh) 一种作物水分胁迫的近红外偏振超光谱成像检测装置和方法
Cucci et al. Extending hyperspectral imaging from Vis to NIR spectral regions: A novel scanner for the in-depth analysis of polychrome surfaces
JP5900644B2 (ja) 分析対象領域設定装置
CN108037081B (zh) 一种酿酒葡萄成熟度监测方法和系统
CN102507457A (zh) 一种快速无损检测作物营养元素的装置及方法
CA3027006A1 (en) Microparticle measuring device and microparticle analysis method
Potapov et al. Smart-camera–based linear sizing
CN202956342U (zh) 一种农产品透射高光谱图像采集试验台
CN107976408A (zh) 一种文物无损检测装置
JP2022539281A (ja) 検出対象物質のスペクトル情報を抽出する方法
Kester et al. A real-time gas cloud imaging camera for fugitive emission detection and monitoring
EP3609174A1 (en) Information processing device, information processing method and program
CN214374364U (zh) 一种基于光学成像的缺陷检测装置
CN106908445A (zh) 基于高光谱的空间频域成像装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170915

Termination date: 20210302

CF01 Termination of patent right due to non-payment of annual fee