CN105043544B - 一种图像光谱跟踪方法及系统 - Google Patents
一种图像光谱跟踪方法及系统 Download PDFInfo
- Publication number
- CN105043544B CN105043544B CN201510224131.2A CN201510224131A CN105043544B CN 105043544 B CN105043544 B CN 105043544B CN 201510224131 A CN201510224131 A CN 201510224131A CN 105043544 B CN105043544 B CN 105043544B
- Authority
- CN
- China
- Prior art keywords
- window
- target window
- mirrors
- data
- spectroscopic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明涉及一种图像光谱跟踪方法及系统，该方法首先对目标窗口的图像数据和光谱数据进行探测，然后在跟踪区域内对各个搜索窗口的图像数据和光谱数据进行探测，再将各个搜索窗口的图像数据和光谱数据与目标窗口的图像数据和光谱数据进行对比，从而选择相似度最高的搜索窗口确认为目标窗口的最新位置。本发明提供的跟踪方法通过对图像中任意一个或者多个感兴趣的活动目标进行光谱测量和图像测量实现对活动目标的图像光谱跟踪；该方法系统扩展性强，操作灵活，在实施的时候可以通过配备不同适应波段的光纤光谱仪和DMD数字微镜实现宽光谱测量和快速光谱测量；同时也可选择高性能的CCD相机以及DMD数字微镜，提高系统的空间分辨率和响应速度。
Description
技术领域
本发明涉及光谱成像技术、图像探测和图像处理领域，更具体地，涉及一种图像光谱跟踪方法及系统。
背景技术
光谱探测与分析技术具有无接触、无损伤的优点，能够检测到被测物体的物理结构、化学成分等指标，是自然科学中一种日趋重要的研究手段。
光谱探测是基于点测量的，而图像测量则是基于空间特性变化，这两种技术各有优缺点。因此将两者结合，产生了光谱成像学科。光谱成像数据是图谱合一的海量数据，它同时包含了图像数据和光谱数据，能够给出各个波段上每个像素的光谱强度数据，而且其光谱分辨率较高。光谱成像技术可分为三类：多光谱成像技术、高光谱成像技术和超光谱成像技术，这三种技术的光谱分辨率呈指数增长。
光谱成像技术不仅具有光谱分辨能力，还具有图像分辨能力。利用光谱成像技术不仅可以对待检测物体进行定性和定量分析，还能进对其待检测物体进行定位分析。所以光谱成像技术主要应用于遥感观测领域，如进行地质矿物识别填图研究、植被生态及军事目标识别等。
图像光谱技术是一种融合图像和光谱数据的新技术，该技术能够提供图像化的光谱测量，具有高图像分辨率和高光谱分辨率的能力，同时具有速度快、非接触、实时反馈、扩展性强等特点。
图像光谱技术能适用在各种环境下进行的光谱探测，与模式识别、图像处理等技术手段相结合，可以自动识别光谱和图像数据，实现自动化的测量，为在线监测提供有力的技术支持，可充分运用于物质分析、材料检测、防伪识别、机器视觉等重要领域。
发明内容
本发明提供了一种图像光谱跟踪方法，该方法可以达到应用图像光谱技术探测活动目标的目的，实现对活动目标的图像光谱跟踪。
为实现以上发明目的，采用的技术方案是：
一种图像光谱跟踪方法，包括以下步骤：
S1.使入射光信号入射在DMD数字微镜上，此时DMD数字微镜的所有微镜都处于“关”状态，光信号经微镜反射后入射至CCD相机表面，CCD相机通过光信号采集图像数据并将图像数据通过计算机进行显示；
S2.在计算机显示的图像中设置跟踪区域，并在跟踪区域内选定目标窗口，控制DMD数字微镜使与目标窗口对应的微镜处于“开”状态，“开”状态的持续时长为ton；在持续时长ton内，目标窗口对应的微镜将光信号反射至光纤光谱仪进行光谱测量，获取目标窗口的光谱数据；
S3.光谱测量完成后，控制DMD数字微镜使与目标窗口对应的微镜切换至“关”状态，在持续时长toff内，目标窗口对应的微镜将光信号反射至CCD相机，CCD相机对目标窗口的图像数据进行采集；
S4.将跟踪区域划分为若干个搜索窗口，对于每个搜索窗口，通过步骤S2、S3的方法获取搜索窗口的光谱数据和图像数据，再通过计算机将各个搜索窗口的光谱数据和图像数据与目标窗口的光谱数据和图像数据进行对比，从而选择相似度最高的搜索窗口确定为目标窗口的最新位置，并在计算机中对目标窗口的最新位置进行标记；
S5.重复步骤S4实现对目标窗口的跟踪。
上述方案中，在确认目标窗口最新位置的时候，是通过目标窗口与搜索窗口的图像数据和光谱数据对比从而选择相似度最高的搜索窗口来确定的，通过两种数据的对比可将方法出错的几率大大降低，保证了对目标窗口跟踪的准确率。
优选地，步骤S4中，将搜索窗口的光谱数据和图像数据与目标窗口的光谱数据和图像数据进行对比的具体过程如下：
步骤S4中，搜索窗口的光谱数据和图像数据与目标窗口的光谱数据和图像数据进行对比的具体过程如下：
S41.分别对搜索窗口和目标窗口的图像数据进行积分运算，获得目标窗口和搜索窗口的灰度直方图，将目标窗口的灰度直方图与搜索窗口的灰度直方图进行匹配计算，记录匹配结果；
S42.将搜索窗口的光谱数据与目标窗口的光谱数据进行匹配计算，记录匹配结果。
优选地，步骤S41中，采用巴氏系数方法对灰度直方图进行匹配计算，巴氏系数方法可由下式表示：
其中BC(a，b)为相似性系数，n为搜索窗口、目标窗口的分块数，ai为目标窗口第i部分的成员数，bi为搜索窗口第i部分的成员数；
步骤S42中，采用皮尔森相关系数法对光谱数据进行匹配计算，皮尔森相关系数法可用下式表示：
其中R(F，S)为相关系数，F为当前目标窗口的光谱数据，为历史目标窗口光谱数据的均值，S为当前搜索窗口的光谱数据，为历史搜索窗口光谱数据的均值。
优选地，DMD数字微镜的像素长宽比与CCD相机的像素长宽比一致。
同时，本发明还提供了一种应用以上方法的系统，通过该系统，也可以达到以上发明目的，其具体的技术方案如下：
包括成像透镜组、DMD数字微镜、成像透镜、CCD相机、会聚透镜组、光纤耦合器、光纤、光纤光谱仪、显示器和处理器；DMD数字微镜、CCD相机、光纤光谱仪和显示器与处理器连接，光纤光谱仪通过光纤与光纤耦合器连接；DMD数字微镜上的微镜具有“开”、“关”两种工作状态状态；
其中DMD数字微镜用于根据处理器的命令对微镜的“开”状态、“关”状态进行切换；
CCD相机用于根据处理器的命令进行图像数据的采集；
光纤光谱仪用于根据处理器的命令进行光谱数据的采集；
显示器用于显示光谱数据和图像数据；
处理器用于划分搜索窗口以及确定目标窗口的最新位置；并将该位置在显示器中标记出来。
入射图像信号通过成像透镜组后形成入射光信号，光信号进入DMD数字微镜，在DMD数字微镜的微镜处于“关”状态时，光信号的反射光通过成像透镜成像到CCD相机表面；在DMD数字微镜中的微镜处于“开”状态时，光信号的发射光通过会聚透镜会聚后进入光纤耦合器进行耦合，并传送到光纤光谱仪中进行光谱测量。
与现有技术相比，本发明的有益效果是：
本发明提供的跟踪方法通过对图像中任意一个或者多个感兴趣的活动目标进行光谱测量和图像测量实现对活动目标的图像光谱跟踪；该方法系统扩展性强，操作灵活，在实施的时候可以通过配备不同适应波段的光纤光谱仪和DMD数字微镜实现宽光谱测量和快速光谱测量；同时也可选择高性能的CCD相机以及DMD数字微镜，提高系统的空间分辨率和响应速度。
附图说明
图1为实施例1的图像光谱跟踪方法的流程图。
图2位跟踪系统的结构示意图。
图3为跟踪系统的工作过程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1所示，本发明提供的图像光谱跟踪方法包括以下步骤：
S1.使入射光信号入射在DMD数字微镜上，此时DMD数字微镜的微镜全部处于“关”状态，光信号经微镜反射后入射至CCD相机表面，CCD相机通过光信号采集图像数据并将图像数据通过计算机进行显示；
S2.在计算机显示的图像中设置跟踪区域，并在跟踪区域内选定目标窗口，控制DMD数字微镜使与目标窗口对应的微镜处于“开”状态，“开”状态的持续时长为ton；在持续时长ton内，目标窗口对应的微镜将光信号反射至光纤光谱仪进行光谱测量，获取目标窗口的光谱数据；
S3.光谱测量完成后，控制DMD数字微镜使与目标窗口对应的微镜切换至“关”状态，在持续时长toff内，目标窗口对应的微镜将光信号反射至CCD相机，CCD相机对目标窗口的图像数据进行采集；
S4.根据目标窗口的图像数据采用巴氏系数方法计算目标窗口的灰度直方图，同时根据目标窗口的光谱数据采用皮尔森相关系数法计算目标窗口的相关系数；
S5.将跟踪区域划分为若干个搜索窗口；
S6.在跟踪区域内确定当前搜索窗口，对于当前搜索窗口，通过巴氏系数方法计算当前搜索窗口的灰度直方图，将当前搜索窗口的灰度直方图与目标窗口的灰度直方图进行匹配计算，记录匹配结果；
S7.当前搜索窗口的灰度直方图匹配成功，则进行下一步，否则重复S6；
S8.对当前搜索窗口进行光谱测量；
S9.对当前搜索窗口的光谱数据与目标窗口的光谱数据进行匹配计算，记录匹配结果；
S10.跟踪区域的所有搜索窗口匹配完毕，则进行下一步，否则继续执行S6；
S11.根据灰度直方图匹配结果和光谱数据匹配结果，选择最佳搜索窗口，确定为目标窗口的最新位置，并在计算机中将该位置标示出来。
其中巴氏系数方法可由下式表示：
其中BC(a，b)为相似性系数，n为搜索窗口、目标窗口的分块数，ai为目标窗口第i部分的成员数，bi为搜索窗口第i部分的成员数；
皮尔森相关系数法可用下式表示：
其中R(F，S)为相关系数，F为当前目标窗口的光谱数据，为历史目标窗口光谱数据的均值，S为当前搜索窗口的光谱数据，为历史搜索窗口光谱数据的均值。
在具体的实施过程中，DMD数字微镜的像素长宽比与CCD相机的像素长宽比一致。
实施例2
本发明在提供图像光谱跟踪方法的基础上，还提供了一种应用以上方法的系统，如图2、3所示，该系统包括图像光谱探测光学系统、DMD数字微镜102、CCD相机104、光纤光谱仪108、显示器、数据存储器和处理器，其中图像光谱探测光学系统包括成像透镜组101、成像透镜103、会聚透镜组105、光纤耦合器106和光纤107，DMD数字微镜102、CCD相机104、光纤光谱仪108、数据存储器和显示器与处理器连接，数据存储器和显示器与处理器组成计算机系统109，光纤光谱仪108通过光纤107与光纤耦合器106连接；DMD数字微镜102上的微镜具有“开”、“关”两种工作状态状态；
该系统在运行的时候，入射图像信号通过成像透镜组101后形成入射光信号，光信号进入DMD数字微镜102，在DMD数字微镜102的微镜处于“关”状态时，光信号的反射光通过成像透镜103成像到CCD相机104表面；在DMD数字微镜102中的微镜处于“开”状态时，光信号的发射光通过会聚透镜组105会聚后进入光纤耦合器106进行耦合，并传送到光纤光谱仪108中进行光谱测量。
其中，CCD相机104用于采集图像数据，DMD数字微镜102用于选择进入光纤光谱仪108的光信号，图像光谱探测光学系统提供光学系统以实现DMD数字微镜102的光路控制；显示器用于显示CCD相机104采集的图像数据以及光纤光谱仪108探测到的光谱数据；数据存储器用于存储图像数据和光谱数据，以及目标区域的位置和搜索区域的位置坐标，处理器用于划分搜索窗口以及根据图像数据和光谱数据确定目标窗口的最新位置；并将该位置在显示器中标记出来。
图像光谱跟踪系统的工作流程如下：
CCD相机104采集到的图像数据和光纤光谱仪108测量得到的光谱数据传送到处理器，处理器将光谱数据、图像数据存储在数据存储器；同时，通过处理器绘制图像和光谱图，并同步显示在显示器上；
然后，在显示器上显示的图像中，选取感兴趣的若干特定目标窗口，对其进行锁定，记录目标窗口的图像数据和光谱数据，储存在数据存储器中；
最后，通过处理器将各个搜索窗口的光谱数据和图像数据与目标窗口的光谱数据和图像数据进行对比，对目标窗口进行识别匹配，得到目标窗口的跟踪位置，并保存坐标位置到数据储存器，同时在显示器中标记出目标窗口的最新位置。
本发明提供的跟踪方法通过对图像中任意一个或者多个感兴趣的活动目标进行光谱测量和图像测量实现对活动目标的图像光谱跟踪；该方法系统扩展性强，操作灵活，在实施的时候可以通过配备不同适应波段的光纤光谱仪和DMD数字微镜实现宽光谱测量和快速光谱测量；同时也可选择高性能的CCD相机以及DMD数字微镜，提高系统的空间分辨率和响应速度。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种图像光谱跟踪方法，其特征在于：包括以下步骤：
S1.使入射光信号入射在DMD数字微镜上，此时DMD数字微镜的所有微镜都处于“关”状态，光信号经微镜反射后入射至CCD相机像素单元区域，CCD相机通过光信号采集图像数据并将图像数据通过计算机进行显示；
S2.在计算机显示的图像中设置跟踪区域，并在跟踪区域内选定目标窗口，控制DMD数字微镜使与目标窗口对应的微镜处于“开”状态，“开”状态的持续时长为ton；在持续时长ton内，目标窗口对应的微镜将光信号反射至光纤光谱仪进行光谱测量，获取目标窗口的光谱数据；
S3.光谱测量完成后，控制DMD数字微镜使与目标窗口对应的微镜切换至“关”状态，在持续时长toff内，目标窗口对应的微镜将光信号反射至CCD相机，CCD相机对目标窗口的图像数据进行采集；
S4.将跟踪区域划分为若干个搜索窗口，对于每个搜索窗口，通过步骤S2、S3的方法获取搜索窗口的光谱数据和图像数据，再通过计算机将各个搜索窗口的光谱数据和图像数据与目标窗口的光谱数据和图像数据进行对比，从而选择相似度最高的搜索窗口确定为目标窗口的最新位置，并在计算机中对目标窗口的最新位置进行标记；
S5.重复步骤S4实现对目标窗口的跟踪；
步骤S4中，搜索窗口的光谱数据和图像数据与目标窗口的光谱数据和图像数据进行对比的具体过程如下：
S41.分别对搜索窗口和目标窗口的图像数据进行积分运算，获得目标窗口和搜索窗口的灰度直方图，将目标窗口的灰度直方图与搜索窗口的灰度直方图进行匹配计算，记录匹配结果；
S42.将搜索窗口的光谱数据与目标窗口的光谱数据进行匹配计算，记录匹配结果。
2.根据权利要求1所述的图像光谱跟踪方法，其特征在于：步骤S41中，采用巴氏系数方法对灰度直方图进行匹配计算，巴氏系数方法可由下式表示：
其中BC(a,b)为相似性系数，n为搜索窗口、目标窗口的分块数，ai为目标窗口第i部分的成员数，bi为搜索窗口第i部分的成员数；
步骤S42中，采用皮尔森相关系数法对光谱数据进行匹配计算，皮尔森相关系数法可用下式表示：
其中R(F,S)为相关系数，F为当前目标窗口的光谱数据，为历史目标窗口光谱数据的均值，S为当前搜索窗口的光谱数据，为历史搜索窗口光谱数据的均值。
3.根据权利要求2所述的图像光谱跟踪方法，其特征在于：DMD数字微镜的像素长宽比与CCD相机的像素长宽比一致。
4.一种应用权利要求1～3任一项所述图像光谱跟踪方法的系统，其特征在于：包括成像透镜组、DMD数字微镜、成像透镜、CCD相机、会聚透镜组、光纤耦合器、光纤、光纤光谱仪、显示器和处理器；DMD数字微镜、CCD相机、光纤光谱仪和显示器与处理器连接，光纤光谱仪通过光纤与光纤耦合器连接；DMD数字微镜上的微镜具有“开”、“关”两种工作状态状态；
其中DMD数字微镜用于根据处理器的命令对微镜的“开”状态、“关”状态进行切换；
CCD相机用于根据处理器的命令进行图像数据的采集；
光纤光谱仪用于根据处理器的命令进行光谱数据的采集；
显示器用于显示光谱数据和图像数据；
处理器用于划分搜索窗口以及确定目标窗口的最新位置；并将该位置在显示器中标记出来；
入射图像信号通过成像透镜组后形成入射光信号，光信号进入DMD数字微镜，在DMD数字微镜的微镜处于“关”状态时，光信号的反射光通过成像透镜成像到CCD相机表面；在DMD数字微镜中的微镜处于“开”状态时，光信号的发射光通过会聚透镜组会聚后进入光纤耦合器进行耦合，并传送到光纤光谱仪中进行光谱测量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510224131.2A CN105043544B (zh) | 2015-05-05 | 2015-05-05 | 一种图像光谱跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510224131.2A CN105043544B (zh) | 2015-05-05 | 2015-05-05 | 一种图像光谱跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105043544A CN105043544A (zh) | 2015-11-11 |
| CN105043544B true CN105043544B (zh) | 2017-06-20 |
Family
ID=54450267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510224131.2A Expired - Fee Related CN105043544B (zh) | 2015-05-05 | 2015-05-05 | 一种图像光谱跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105043544B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956591B (zh) * | 2016-04-28 | 2019-03-29 | 中山大学 | 一种在线高温零件红外图像光谱抽样检测方法 |
| CN112945381B (zh) * | 2021-02-02 | 2022-08-16 | 上海机电工程研究所 | 一种基于视域选通的图谱分时探测系统及方法 |
| CN113588081B (zh) * | 2021-07-28 | 2023-07-21 | 中国科学院合肥物质科学研究院 | 一种宽幅成像与超光谱协同预警系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102944305A (zh) * | 2012-11-12 | 2013-02-27 | 北京航空航天大学 | 一种快照式高通量的光谱成像方法和光谱成像仪 |
| CN103033169A (zh) * | 2011-09-28 | 2013-04-10 | 株式会社拓普康 | 图像获取设备和图像获取系统 |
| CN103189737A (zh) * | 2010-10-29 | 2013-07-03 | 奥林巴斯株式会社 | 图像分析方法以及图像分析装置 |
| CN103593379A (zh) * | 2012-08-17 | 2014-02-19 | 通用电气航空系统有限责任公司 | 选择用于在处理高光谱数据中使用的算法的方法 |
| CN103810226A (zh) * | 2012-08-17 | 2014-05-21 | 通用电气航空系统有限责任公司 | 确定高光谱数据处理中所用的跟踪对象的方法 |
| CN103925999A (zh) * | 2014-05-06 | 2014-07-16 | 中山大学 | 一种图像光谱探测方法及系统 |
-
2015
- 2015-05-05 CN CN201510224131.2A patent/CN105043544B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103189737A (zh) * | 2010-10-29 | 2013-07-03 | 奥林巴斯株式会社 | 图像分析方法以及图像分析装置 |
| CN103033169A (zh) * | 2011-09-28 | 2013-04-10 | 株式会社拓普康 | 图像获取设备和图像获取系统 |
| CN103593379A (zh) * | 2012-08-17 | 2014-02-19 | 通用电气航空系统有限责任公司 | 选择用于在处理高光谱数据中使用的算法的方法 |
| CN103810226A (zh) * | 2012-08-17 | 2014-05-21 | 通用电气航空系统有限责任公司 | 确定高光谱数据处理中所用的跟踪对象的方法 |
| CN102944305A (zh) * | 2012-11-12 | 2013-02-27 | 北京航空航天大学 | 一种快照式高通量的光谱成像方法和光谱成像仪 |
| CN103925999A (zh) * | 2014-05-06 | 2014-07-16 | 中山大学 | 一种图像光谱探测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105043544A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11836950B2 (en) | Quality metrics for automatic evaluation of dual ISH images | |
| Yang et al. | Deep concrete inspection using unmanned aerial vehicle towards cssc database | |
| KR102661954B1 (ko) | 이미지 처리 방법 및 이를 수행하는 장치들 | |
| CN109977813A (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| CN110266938B (zh) | 基于深度学习的变电站设备智能拍摄方法及装置 | |
| US20220012884A1 (en) | Image analysis system and analysis method | |
| KR102521386B1 (ko) | 치수 계측 장치, 치수 계측 방법 및 반도체 제조 시스템 | |
| WO2017040669A1 (en) | Pattern detection at low signal-to-noise ratio | |
| CN105210083A (zh) | 用于查验和分析细胞学标本的系统和方法 | |
| EP2742319A1 (de) | Messgerät zur bestimmung der räumlichen lage eines messhilfsinstruments | |
| US9338408B2 (en) | Image obtaining apparatus, image obtaining method, and image obtaining program | |
| CN105043544B (zh) | 一种图像光谱跟踪方法及系统 | |
| US20190383730A1 (en) | Multispectral image analysis system | |
| JP2021532347A (ja) | 半導体検査における多モードの欠陥分類 | |
| CN110688955A (zh) | 一种基于yolo神经网络的建筑构建目标检测方法 | |
| US9256786B2 (en) | Method of identification from a spatial and spectral object model | |
| Radiuk et al. | Convolutional neural network for parking slots detection | |
| CN112381190B (zh) | 一种基于手机图像识别的索力测试方法 | |
| CN101793530B (zh) | 一种测试光纤陀螺去耦系数的测试方法 | |
| CN113021355A (zh) | 一种用于预测遮挡农作物摘取点的农业机器人作业方法 | |
| CN105092026A (zh) | 一种推扫型成像光谱仪自动调焦的方法 | |
| Bonton et al. | Colour image in 2D and 3D microscopy for the automation of pollen rate measurement | |
| CN103792005A (zh) | 宽谱段二维色散高速成像光谱仪 | |
| US11937528B2 (en) | Virtual SPAD meter | |
| Spampinato | Semantic Segmentation of Radio-Astronomical Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170620 Termination date: 20210505 |