CN105758523B - 基于轮转式的高速光谱通道切换的高光谱成像装置 - Google Patents
基于轮转式的高速光谱通道切换的高光谱成像装置 Download PDFInfo
- Publication number
- CN105758523B CN105758523B CN201610181821.9A CN201610181821A CN105758523B CN 105758523 B CN105758523 B CN 105758523B CN 201610181821 A CN201610181821 A CN 201610181821A CN 105758523 B CN105758523 B CN 105758523B
- Authority
- CN
- China
- Prior art keywords
- high speed
- corner cube
- light
- processing module
- cube mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 35
- 238000000701 chemical imaging Methods 0.000 title abstract description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 28
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 40
- 229910052742 iron Inorganic materials 0.000 claims description 20
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 11
- 230000003595 spectral effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 235000000396 iron Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
Abstract
本发明公开了一种基于轮转式的高速光谱通道切换的高光谱成像装置，包括高速分光装置、成像单元、直角反射镜头、计算机、信号采集与处理模块等；所述高速分光装置位于成像单元与直角反射镜头之间，对通过直角反射镜头进入的光线进行处理，获得相应的单色光，并依次聚焦到所述成像单元上，得一系列光谱图像；所述高速分光装置和成像单元均通过信号采集与处理模块相连与计算机相连。本发明在极大提高光谱通道切换速度，实现光谱高速扫描的同时，把整个系统的动量扰动，抖动和功率消耗等降到最低，其可靠性得到显著提高。且这个角速度可以任意调高，使得每一个滤光片在允许曝光的情况下获得多个序列，改善系统同步性并提高图像信噪比。
Description
技术领域
本发明涉及一种高光谱成像技术领域，尤其涉及一种基于轮转式的高速光谱通道切换的高光谱成像装置。
背景技术
光谱成像技术作为一种面向资源调查、环境监测和伪装检查等领域的观测新技术，在世界范围内尤其是发达国家正得到日益广泛的应用。
光学成像仪获得物体的影像信息，光谱仪获得物质的光谱信息，这两类光学技术均已有数百年的发展史，但在上世纪五十年代前，它们基本上是独立发展的。
高光谱成像技术结合了两个著名的科学方法，即光谱和成像。它通过把色散光学与普通成像设备有机结合，来获取图像每个像素点的光谱信息。这种结合可对同一目标物在不同波段情况下获得图像来创建一个3维的目标物信息数据库，其中包括2维的图像信息和一维的光谱信息。因此，高光谱图像可定义为在不同波长下所获得图像的集合或者每个像素点所包含不同成像场景光谱值的集合。
成像光谱技术以物质的分析理论为基础，涉及光学设计、成像技术、光电探测、信号处理与信息挖掘、光谱信息传输等研究领域，成像光谱技术是指在电磁波波谱的可见光、近红外和红外等波段区域针对研究对象获取许多非常窄且光谱连续的二维空间图像信息及一维光谱信息的光学遥感技术，该技术可通过记录观测场景中研究对象光谱特征的完整且连续的光谱曲线，能够达到准实时地获取研究对象的空间影像信息和在探测器上每个像元对应的光谱分布，然后， 通过相应的图像处理技术，获得包含研究对象的二维空间信息及一维光谱信息的三维图像数据立方体，实现了对研究对象的空间、辐射、光谱三种信息的同步获取。与几何成像仪相比，由于成像光谱仪在获得目标图像信息的同时，还能够得到空间可分辨单元的光谱特征，因此，成像光谱仪获得的信息量很大。
中国发明专利“一种快速准连续多光谱成像系统及其成像方法”(申请号：201310250192.7；公开号：CN103344333A)”提出了能够实现快速准连续的多光谱成像系统，其扫描驱动机构由步进电机及单片机控制的霍尔传感器组成，步进电机控制滤光片轮的旋转及停留时间，单片机控制的霍尔传感器配合步进电机控制滤光片轮的定位和复位。该系统在准连续多光谱图像采集时步进电机驱动滤光片组旋转，霍尔传感器配合单片机控制步进电机，让每个滤光片依次在相机镜头正后方位置做短暂停留，但这种方法导致滤光轮在每次切换滤光器时都要经过角加速度和角减速度的过程，这种加速和减速需要相对比较大且耗能的电机，而这种电机往往振动会比较大，会对位置的精度和系统的稳定性产生不利影响。也会使得相机获取第一帧到最后一帧图片的时间间隔非常大，这种连续启停的方式导致系统功耗大，滤色片更换速度慢，不能实现高速光谱扫描。
发明内容
为了克服现有的高光谱成像系统功耗大，滤色片更换速度慢，不能实现高速光谱扫描的不足，本发明提供一种基于轮转式的高速光谱通道切换的高光谱成像装置。
本发明解决其技术问题所采用的技术方案是：一种基于轮转式的高速光谱通道切换的高光谱成像系统，包括高速分光装置、成像单元、直角反射镜头、计算机、信号采集与处理模块、外壳；其中，所述外壳包括底盘、筒壁和上盖， 筒壁固定安装在底盘上，上盖放置在筒壁的上部，上盖上开有通孔；所述直角反射镜头安装在上盖上的通孔处，高速分光装置安装在底盘上，成像单元安装在与底盘固连的支架上；所述成像单元位于直角反射镜头的成像面上；所述高速分光装置位于成像单元与直角反射镜头之间，对通过直角反射镜头进入的光线进行处理，获得相应的单色光，并依次聚焦到所述成像单元上，得一系列光谱图像；所述高速分光装置和成像单元均与信号采集与处理模块相连，信号采集与处理模块和成像单元均与计算机相连。
进一步的，所述直角反射镜头包括平面反射镜和透镜；光线穿过透镜并通过平面反射镜使光线旋转90度。
进一步的，所述高速分光装置包括霍尔传感器、滤光轮和扫描驱动机构；所述滤光轮安装在扫描驱动机构上；所述成像单元包括滤色片和高速图像传感器；所述滤光轮上开有若干安装滤色片的通槽；所述每个通槽的侧面均安装有一个永磁磁铁，其中起始通槽处另加放一个永磁磁铁，用于系统复位；所述霍尔传感器安装在与底盘固连的支架上，用于接收永磁磁铁的定位信号；霍尔传感器和信号采集与处理模块相连；所述高速图像传感器安装在与底盘固连的支架上；霍尔传感器接收到永磁磁铁的定位信号后传输给信号采集与处理模块进行信号处理，信号采集与处理模块控制高速图像传感器进行曝光及图像采集，高速图像传感器将采集的数据通过USB保存在计算机中。
进一步的，所述扫描驱动机构包括：驱动器、联轴器、内部集成步进电机的转台；其中，所述转台安装在外壳的底盘上；所述滤光轮通过联轴器与转台相连，由驱动电机驱动滤光轮旋转，进行光谱通道切换；步进电机与驱动器相连，驱动器和信号采集与处理模块相连。
本发明的有益效果是：本发明在极大提高光谱通道切换速度，实现光谱高速 扫描的同时，把整个系统的动量扰动，抖动和功率消耗等降到最低，其可靠性得到显著提高。且这个角速度可以任意调整，使得每一个滤光片在允许曝光的情况下获得多个序列，改善系统同步性并提高图像信噪比。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的结构示意图；
图2是本发明的内部结构示意图；
图3是发明的滤光片轮的结构示意图；
图4是发明的成像原理图；
图中，1.霍尔传感器，2.滤光轮，3.永磁磁铁，4.联轴器，5.直角反射镜头，6.平面反射镜，7.透镜，8.成像单元，9.滤光片，10.高速图像传感器，11.计算机，12.集线器，13.信号采集与处理模块，14.转台，15.滤光轮凹槽，16.底盘，17.支架，18.上盖。
具体实施方式
下面结合说明书附图对本发明作进一步的说明。
如图1-4所示，本发明包括高速分光装置、成像单元8、直角反射镜头5、计算机11、信号采集与处理模块13、外壳；其中，所述外壳包括底盘16、筒壁和上盖18，筒壁固定安装在底盘16上，上盖18放置在筒壁的上部，上盖18上开有通孔；所述直角反射镜头5安装在上盖18上的通孔处，高速分光装置安装在底盘16上，成像单元8安装在与底盘16固连的支架17上；所述成像单元8位于直角反射镜头5的成像面上；所述高速分光装置位于成像单元8与直角反射镜头5之间，对通过直角反射镜头5进入的光线进行处理，获得相应的单色光，并依次聚焦到所述成像单元8上，得一系列光谱图像；所述高速分光装置和成 像单元8均与信号采集与处理模块13相连，信号采集与处理模块13和成像单元8均与计算机11相连。实施过程中为了方便连接，信号采集与处理模块13和成像单元8可通过集线器12与计算机11相连。
如图4所示，所述直角反射镜头5包括平面反射镜6和透镜7；光线穿过透镜7并通过平面反射镜6使光线旋转90度。
所述高速分光装置包括霍尔传感器1、滤光轮2和扫描驱动机构；所述滤光轮2安装在扫描驱动机构上；滤光轮2水平放置，通过直角反射镜头5改变光路；所述成像单元8包括滤色片9和高速图像传感器10；所述滤光轮2上开有若干安装滤色片9的通槽；所述每个通槽的侧面均安装有一个永磁磁铁3，其中起始通槽处另加放一个永磁磁铁3，用于系统复位；所述霍尔传感器1安装在与底盘16固连的支架17上，用于接收永磁磁铁3的定位信号；霍尔传感器1和信号采集与处理模块13相连；所述高速图像传感器10安装在与底盘16固连的支架17上；霍尔传感器1接收到永磁磁铁3的定位信号后传输给信号采集与处理模块13进行信号处理，信号采集与处理模块13控制高速图像传感器10进行曝光及图像采集，高速图像传感器10将采集的数据通过USB保存在计算机11中；
所述扫描驱动机构包括：驱动器、联轴器4、内部集成步进电机的转台14；其中，所述转台14安装在外壳的底盘16上；所述滤光轮2通过联轴器4与转台14相连，由驱动电机驱动滤光轮2旋转，进行光谱通道切换；步进电机与驱动器相连，驱动器和信号采集与处理模块13相连。
扫描驱动机构系统采用以恒角速度连续驱动所述带有滤色片9的滤光轮2旋转的方式工作，使带有分立式窄带滤色片9的滤光轮2采用恒定角速度连续旋转方式来切换滤色片9，系统通过霍尔传感器1与永磁磁铁3控制滤光轮2的复 位，高速图像传感器10采用外部触发工作方式；外部触发由霍尔传感器1、永磁磁铁3、信号采集与处理模块13完成，在系统接收到由霍尔传感器1探测的复位信号后，系统开始通过霍尔传感器1接收永磁磁铁3的定位信号，霍尔传感器1接收到信号后传输给信号采集与处理模块13进行信号处理与转换，控制高速图像传感器10进行曝光及图像采集，高速图像传感器将采集的数据通过USB保存在计算机11中。
本发明的工作过程如下：
本发明分为单波段图像采集和连续多波段光谱图像采集两种工作模式。
单波段图像采集：预览图像，被测目标置于所述系统直角反射镜头5的前方，启动系统复位，设置成像光谱波长，调节焦距，设置高速图像传感器10曝光时间，滤光轮2在转台14的驱动下，由霍尔传感器3、信号采集与处理模块13以及PC的配合控制下，将选定的光谱波长的滤色片9定位到高速图像传感器10和直角反射镜头5之间，并触发高速传感器10启动曝光，获取被测目标设定波段的单光谱图像，并保存至计算机11。
连续多波段光谱图像采集：
接通电源，打开计算机11，使被测目标置于所述系统直角反射镜头5的前方，预览图像，设置高速图像传感器10曝光时间并调节直角反射镜头5的焦距，控制步进电机驱动滤光轮2进行旋转，通过霍尔传感器2与复位永磁磁铁触发霍尔传感器1接受永磁磁铁3的信号，控制高速图像传感器10曝光并采集图像数据。在霍尔传感器2探测到复位永磁磁铁后，霍尔传感器1在每次探测到永磁磁铁3信号后都会通过信号采集与处理模块13触发高速图像传感器10曝光并采集图像数据，快速获取被测目标在准连续波长下的多光谱图像并保存至计算机11。在霍尔传感器2再次探测到复位永磁磁铁信号后，系统控制转台停止， 图像采集完毕。
单波段采集和多波段采集由计算机11通过不同的系统控制算法实现的，为了在单波段采集时能获得任意位置，系统应首先复位，复位后，设置要选取的光谱波段，系统通过延迟霍尔传感器2接收信号的时间来进行滤色片的定位。
Claims (3)
1.一种基于轮转式的高速光谱通道切换的高光谱成像系统，其特征在于：包括高速分光装置、成像单元（8）、直角反射镜头（5）、计算机（11）、信号采集与处理模块（13）、外壳；其中，所述外壳包括底盘（16）、筒壁和上盖（18），筒壁固定安装在底盘（16）上，上盖（18）放置在筒壁的上部，上盖（18）上开有通孔；所述直角反射镜头（5）安装在上盖（18）上的通孔处，
所述成像单元（8）包括滤色片（9）和高速图像传感器（10）；所述高速图像传感器（10）安装在与底盘（16）固连的支架（17）上，位于直角反射镜头（5）的成像面上；
所述高速分光装置包括霍尔传感器（1）、滤光轮（2）和扫描驱动机构，所述滤光轮（2）安装在扫描驱动机构上，扫描驱动机构安装在底盘（16）上，所述滤光轮（2）上开有若干安装滤色片（9）的通槽；所述每个通槽的侧面均安装有一个永磁磁铁（3），其中起始通槽处另加放一个复位永磁磁铁，用于系统复位；所述霍尔传感器（1）安装在与底盘（16）固连的另一支架上，用于接收永磁磁铁（3）的定位信号，霍尔传感器（1）和信号采集与处理模块（13）相连；所述扫描驱动机构采用以恒角速度连续驱动滤光轮（2）旋转；
所述滤光轮（2）位于高速图像传感器（10）与直角反射镜头（5）之间，对通过直角反射镜头（5）进入的光线进行处理，获得相应的单色光，并依次聚焦到所述成像单元（8）上，得一系列光谱图像；霍尔传感器（1）接收到永磁磁铁（3）的定位信号后传输给信号采集与处理模块（13）进行信号处理，信号采集与处理模块（13）控制高速图像传感器（10）进行曝光及图像采集，高速图像传感器（10）将采集的数据通过USB保存在计算机（11）中。
2.如权利要求1所述的基于轮转式的高速光谱通道切换的高光谱成像系统，其特征在于，所述直角反射镜头（5）包括平面反射镜（6）和透镜（7）；光线穿过透镜（7）并通过平面反射镜（6）使光线旋转90度。
3.如权利要求1所述的基于轮转式的高速光谱通道切换的高光谱成像系统，其特征在于，所述扫描驱动机构包括：驱动器、联轴器（4）、内部集成步进电机的转台（14）；其中，所述转台（14）安装在外壳的底盘（16）上；所述滤光轮（2）通过联轴器（4）与转台（14）相连，由驱动电机驱动滤光轮（2）旋转，进行光谱通道切换；步进电机与驱动器相连，驱动器和信号采集与处理模块（13）相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610181821.9A CN105758523B (zh) | 2016-03-25 | 2016-03-25 | 基于轮转式的高速光谱通道切换的高光谱成像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610181821.9A CN105758523B (zh) | 2016-03-25 | 2016-03-25 | 基于轮转式的高速光谱通道切换的高光谱成像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105758523A CN105758523A (zh) | 2016-07-13 |
| CN105758523B true CN105758523B (zh) | 2018-02-06 |
Family
ID=56345714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610181821.9A Expired - Fee Related CN105758523B (zh) | 2016-03-25 | 2016-03-25 | 基于轮转式的高速光谱通道切换的高光谱成像装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105758523B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106225925A (zh) * | 2016-08-09 | 2016-12-14 | 北京博晖创新光电技术股份有限公司 | 分光器、光谱仪 |
| CN106596422B (zh) * | 2016-10-25 | 2019-05-14 | 浙江大学 | 检测与脱水一体化的闭环干燥系统及方法 |
| JP6886821B2 (ja) * | 2017-01-20 | 2021-06-16 | 株式会社小糸製作所 | 光学ユニット |
| CN108362378B (zh) * | 2018-02-24 | 2020-04-14 | 首都师范大学 | 一种基于滚动式扫描的高光谱成像装置 |
| CN108548786B (zh) * | 2018-03-08 | 2023-09-05 | 青岛农业大学 | 一种使用多面转镜光谱检测花生黄曲霉毒素的装置与方法 |
| CN112443766A (zh) * | 2020-11-26 | 2021-03-05 | 江苏国和智能科技有限公司 | 一种基于光纤照明技术的水下照明装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010019515A2 (en) * | 2008-08-10 | 2010-02-18 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
| CN102749139A (zh) * | 2012-06-06 | 2012-10-24 | 广州中国科学院先进技术研究所 | 一种多光谱图像捕捉系统 |
| CN202661170U (zh) * | 2012-06-12 | 2013-01-09 | 青岛市光电工程技术研究院 | 一种便携式痕迹探测光谱成像仪 |
| CN103808310A (zh) * | 2012-11-15 | 2014-05-21 | 西安中科麦特电子技术设备有限公司 | 一种高分辨率多偏振度图像光学系统 |
| CN203275287U (zh) * | 2013-06-04 | 2013-11-06 | 沈阳仪表科学研究院有限公司 | 便携式滤光片色轮型多光谱成像系统 |
| CN103344333A (zh) * | 2013-06-18 | 2013-10-09 | 中国计量学院 | 一种快速准连续多光谱成像系统及其成像方法 |
| CN105333957B (zh) * | 2015-11-24 | 2017-07-21 | 四川双利合谱科技有限公司 | 一种能够实现转镜线性扫描的高光谱成像系统 |
| CN205580598U (zh) * | 2016-03-25 | 2016-09-14 | 浙江大学 | 一种基于轮转式的高速光谱通道切换的高光谱成像装置 |
-
2016
- 2016-03-25 CN CN201610181821.9A patent/CN105758523B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105758523A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105758523B (zh) | 基于轮转式的高速光谱通道切换的高光谱成像装置 | |
| US10436642B2 (en) | Lens scanning mode hyperspectral imaging system and rotor unmanned aerial vehicle | |
| US6075235A (en) | High-resolution polarization-sensitive imaging sensors | |
| EP3049776B1 (en) | Hyperspectral detector systems and methods using context-image fusion | |
| CN103344333A (zh) | 一种快速准连续多光谱成像系统及其成像方法 | |
| US5790188A (en) | Computer controlled, 3-CCD camera, airborne, variable interference filter imaging spectrometer system | |
| US20150022811A1 (en) | Compact hyperspectral imaging system | |
| US10652513B2 (en) | Display device, display system and three-dimension display method | |
| US8743201B2 (en) | Time-Sequential multi-spectrum imaging device | |
| US20140354868A1 (en) | Portable hyperspectral imager | |
| CN207689369U (zh) | 基于高光谱相机和面阵相机及pos系统的高光谱成像系统 | |
| CN105973469B (zh) | 带同步辐射矫正的无人机载高光谱图像探测仪及方法 | |
| CN108051407A (zh) | 基于高光谱相机和面阵相机及pos系统的高光谱成像系统 | |
| CN203275287U (zh) | 便携式滤光片色轮型多光谱成像系统 | |
| WO2021009280A1 (en) | Spectrometer device | |
| JP2020510818A (ja) | プローブ系回転光学ハイパースペクトルデータ収集システム | |
| CN109405972A (zh) | 一种高光谱偏振成像系统 | |
| CN205580598U (zh) | 一种基于轮转式的高速光谱通道切换的高光谱成像装置 | |
| CN107782448B (zh) | 一种新型成像光谱仪及其数据立方体的构建方法 | |
| CN105092026A (zh) | 一种推扫型成像光谱仪自动调焦的方法 | |
| CN105092034A (zh) | 一种推扫型成像光谱仪 | |
| CN105182498A (zh) | 一种摆扫型光谱成像仪的调焦方法 | |
| JP6524794B2 (ja) | 物体同定装置、物体同定システム、物体同定方法および物体同定プログラム | |
| CN214334007U (zh) | 一种基于扫描振镜的凝视型高光谱相机 | |
| CN104155002A (zh) | 扫描成像光谱仪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180206 Termination date: 20200325 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |