CN103686006A - 一种基于压缩传感的全局式曝光cmos图像传感器 - Google Patents

一种基于压缩传感的全局式曝光cmos图像传感器 Download PDF

Info

Publication number
CN103686006A
CN103686006A CN201310721862.9A CN201310721862A CN103686006A CN 103686006 A CN103686006 A CN 103686006A CN 201310721862 A CN201310721862 A CN 201310721862A CN 103686006 A CN103686006 A CN 103686006A
Authority
CN
China
Prior art keywords
random
image sensor
pixel
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310721862.9A
Other languages
English (en)
Other versions
CN103686006B (zh
Inventor
骆丽
李瑞菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201310721862.9A priority Critical patent/CN103686006B/zh
Publication of CN103686006A publication Critical patent/CN103686006A/zh
Application granted granted Critical
Publication of CN103686006B publication Critical patent/CN103686006B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供了一种基于压缩传感的全局式曝光CMOS图像传感器,包括有记忆功能的像素单元阵列、随机0-1序列产生单元、随机序列存储单元、时序控制单元、跨阻放大单元、模数转换单元。所述图像传感器可在图像传感的同时进行模拟数据压缩;使用全局式曝光方式,使全部像素同时开始和结束曝光,再进行读出工作。本发明基于压缩传感理论,模数转换前完成图像传感和压缩,在保证与传统方法相同分辨率的前提下,减少了数据采集量,降低了对模数转换器采样速度的要求,节约了数据存储空间;同时使用硬件方式压缩数据,相比在模数转换后软件方式的数据压缩,提高了处理速度;使用全局式曝光方式,可采集高速运动物体的瞬时图像。

Description

一种基于压缩传感的全局式曝光CMOS图像传感器
技术领域
本发明属于CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器领域,尤其涉及一种基于压缩传感的全局式曝光CMOS图像传感器。
背景技术
随着CMOS制造工艺的不断提高,CMOS图像传感器(CMOS Image Sensors,CIS)在功耗、可集成性、随机寻址、成本等方面优于CCD图像传感器,成为固态图像传感器领域的主流器件。
根据晶体管的数量不同,当前像素单元电路结构主要分为三管有源像素、四管有源像素等类型,其中,四管有源像素在CMOS图像传感器中应用最广泛。传统的四管结构CMOS图像传感器像素单元电路如图1所示,包括:复位晶体管M_RST,传输门晶体管M_TX,源跟随晶体管M_SF,行选通晶体管M_RS及用于感受光信号的光电二极管PD,FD为浮动扩散节点,Vout为像素单元输出端。
图1中VDD是外部提供给像素单元电路的电源电压,控制复位晶体管M_RST、传输门晶体管M_TX、行选通晶体管M_RS的导通与截止来实现像素单元电路的信号输出。因为传统四管结构CMOS图像传感器主要只利用光电二极管PD存储电荷,所以像素单元电路存储的光照信息只能被输出一次。
传统CMOS图像传感器由像素单元阵列、行控制电路、读出单元、模拟处理单元、模数转换单元组成,如图2所示。传统CMOS图像传感器基于奈奎斯特采样理论,需要以高于原始信号频率两倍的频率进行采样,这种方法所采集的模拟数据量大,导致对模数转换器速度要求高、数据存储空间要求大、模数转换后数据压缩的时间长。
CMOS图像传感器像素单元阵列的曝光方式主要分为全局式曝光和滚筒式曝光。全局式曝光方式,要求同时开始和结束曝光,再进行读出工作,这种曝光方式可以更加准确地采集高速运动物体的瞬时图像。滚筒式曝光方式,由于每列像素都用同一套读出电路,所以一行像素读出后,才能再进行下一行像素读出。
压缩传感(compressive sensing),作为一种全新的信号采样方式,于2006年在美国电子电气工程师协会信息理论会刊上公开。
压缩传感理论,是让稀疏或可压缩的原始信号通过一个满足一定条件的随机测量矩阵进行采样,可获得远少于传统奈奎斯特理论的采样点数,需要时再用重构算法恢复压缩数据。由于压缩传感具有低于奈奎斯特的采样速率和完全重构信号的特征,已逐渐在图像传感、数据处理等领域应用。
发明内容
本发明为解决现有CMOS图像传感器对模数转换器采样速度要求高、数据存储空间要求大、在模数转换后软件方式数据压缩时间长、对高速运动物体的瞬时图像采集不够准确的技术问题,提供了一种能在模拟电路处理阶段使传感和压缩同时进行的基于压缩传感的全局式曝光CMOS图像传感器。
一种基于压缩传感的全局式曝光CMOS图像传感器,在图像传感的同时进行模拟数据压缩,使用全局式曝光方式,使全部像素同时开始和结束曝光,再进行读出工作。
进一步的,所述基于压缩传感的全局式曝光CMOS图像传感器,包括:
有记忆功能的像素单元阵列,由多个具有可存储并多次选择性输出固定瞬时光照信息的像素单元排列成矩阵构成;
随机0-1序列产生单元,产生随机0-1序列,构成基于压缩传感的测量矩阵;
随机序列存储单元,存储随机0-1序列产生单元产生的随机0-1序列,给各像素单元的数据输出提供控制信号;
时序控制单元,控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序;
跨阻放大单元,由多个跨阻放大器构成,将各像素阵列块输出的电流转换成电压;
模数转换单元,由多个模数转换器构成,将各跨阻放大器输出的模拟图像数据转换成数字图像数据。
进一步的,所述随机0-1序列产生单元将数据存储到随机序列存储单元;随机序列存储单元将数据按照不同压缩率的时序要求输入到各像素单元的像素选通晶体管栅极,作为其控制信号;时序控制单元控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序;各跨阻放大器分别连接在相应CMOS像素单元阵列块和模数转换器之间。
本发明基于压缩传感的全局式曝光CMOS图像传感器,在图像传感的同时进行模拟数据压缩,使用全局式曝光方式,使全部像素同时开始和结束曝光,再进行读出工作。本发明基于压缩传感理论,模数转换前完成图像传感和压缩,在保证与传统方法相同分辨率的前提下,减少了数据采集量,降低了对模数转换器采样速度的要求,节约了数据存储空间;同时使用硬件方式压缩数据,相比在模数转换后软件方式的数据压缩,提高了处理速度;使用全局式曝光方式,可采集高速运动物体的瞬时图像。
附图说明
图1是现有技术提供的典型四管有源像素单元电路示意图。
图2是现有技术提供的传统CMOS图像传感器电路示意图。
图3是本发明实施例使用的六管结构具有记忆和多次选择输出功能的像素单元电路示意图。
图4是本发明实施例使用的六管有源像素单元控制信号波形图。
图5是本发明实施例使用的基于压缩传感的随机测量矩阵与原始图像信号矩阵相乘的示意图。
图6是本发明实施例提供的基于压缩传感的全局式曝光CMOS图像传感器控制时序图。
图7是本发明实施例提供的基于压缩传感的全局式曝光CMOS图像传感器电路示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明为一种基于压缩传感的全局式曝光CMOS图像传感器。所述图像传感器在图像传感的同时进行模拟数据压缩,使用全局式曝光方式,使全部像素同时开始和结束曝光,再进行读出工作。
本发明为一种基于压缩传感的全局式曝光CMOS图像传感器,包括:
有记忆功能的像素单元阵列,由多个具有可存储并多次选择性输出固定瞬时光照信息的像素单元排列成矩阵构成;
随机0-1序列产生单元,产生随机0-1序列,构成基于压缩传感的测量矩阵;
随机序列存储单元,存储随机0-1序列产生单元产生的随机0-1序列,给各像素单元的数据输出提供控制信号;
时序控制单元,控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序;
跨阻放大单元,由多个跨阻放大器构成,将各像素阵列块输出的电流转换成电压;
模数转换单元,由多个模数转换器构成,将各跨阻放大器输出的模拟图像数据转换成数字图像数据。
本发明中的像素单元使用六管结构像素单元电路,如图3所示,包括:启动晶体管M_START、传输门晶体管M_TX、光电二极管PD、电容充电选通晶体管M_CI、存储电容C、电容放电选通晶体管M_CO、源跟随晶体管M_SF、像素选通晶体管M_SEL。此像素结构可以存储并多次选择性输出固定瞬时光照信息,即将固定瞬时光照信息的电荷存储在非光电二极管的单独电容中,并使该电容中固定瞬时光照信息的电荷量基本无变化。
图3中所述启动晶体管M_START位于电源正极VDD和浮动扩散节点FD之间;传输门晶体管M_TX位于浮动扩散节点FD和光电二极管PD之间;光电二极管PD位于传输门晶体管M_TX和地之间;电容充电选通晶体管M_CI位于浮动扩散节点FD和存储电容C上极板之间;存储电容C上极板位于电容充电选通晶体管M_CI和电容放电选通晶体管M_CO连接处,下极板接地;电容放电选通晶体管M_CO位于存储电容C上极板和源跟随晶体管M_SF栅极之间;源跟随晶体管M_SF位于电源正极VDD和像素选通晶体管M_SEL之间;像素选通晶体管M_SEL位于源跟随晶体管M_SF和像素单元输出端Iout之间。
图3中所述电容充电选通晶体管M_CI、存储电容C、电容放电选通晶体管M_CO增加了像素单元内存储瞬时光照信息的功能,同时增加了多次选择性输出固定瞬时光照信息的功能。
进一步的,图3中所述像素单元还包括:给启动晶体管M_START施加启动信号START、传输门晶体管M_TX施加传输信号TX、电容充电选通晶体管M_CI施加电容充电选通信号CI、电容放电选通晶体管M_CO施加电容放电选通信号CO、像素选通晶体管M_SEL施加像素选择输出信号SEL。图4为控制单元产生的传输信号TX、电容充电选通信号CI、电容放电选通信号CO、像素选择输出信号SEL的波形图。启动信号START在该像素单元工作时,始终接电源正极VDD。
本发明中的随机0-1序列产生单元,基于压缩传感理论,产生随机0-1序列,构成满足一定条件的随机测量矩阵,用以和原始图像信号进行计算,达到图像传感和压缩同时进行的目的。例如,所处理最小图像块像素为16×16,则用以和随机测量矩阵相乘的原始图像信号矩阵大小为256×1。达到不同压缩率的随机测量矩阵规模不同。压缩率为1、2、4、8、16的随机测量矩阵规模分别为256×256、128×256、64×256、32×256、16×256,随机测量矩阵与原始图像信号矩阵相乘后,分别得到规模为256×1、128×1、64×1、32×1、16×1的压缩后模拟数据矩阵。
将随机0-1序列产生的随机0-1序列存储在随机序列存储单元中,以便按照上述压缩率要求,将0-1序列信号输入给各像素单元的像素输出晶体管栅极,控制像素单元信号的输出。
根据基尔霍夫电流定律,采集各像素单元输出端的电流信号,将每个16×16的最小图像块输出端连接在各电流主路上,这样,各电流主路上的电流等于16×16最小图像块中像素输出晶体管栅极被输入1的支路电流之和。再根据所要达到1、2、4、8、16压缩率的要求,逐次提供给各像素单元的像素输出晶体管256、128、64、32、16次控制信号,如此便完成了随机测量矩阵与原始图像信号矩阵相乘的计算,分别得到规模为256×1、128×1、64×1、32×1、16×1的压缩后图像矩阵。
将每个16×16最小图像块得到的压缩后图像矩阵的数据输入至跨阻放大器,使得到的总电流转换为电压。
将跨阻放大器输出的电压信号输入至模数转换单元,将模拟信号转换为数字信号,让其接受数字信号的存储、压缩数据重构等处理。
整个电路中的时序由时序控制单元控制。
本发明对整幅图像的大小没有具体限制。例如,整幅图像有m×n个像素,按照每16×16像素作为最小图像块进行处理,用相同的时序控制信号控制每个16×16最小图像块。若m和n均为16的倍数,所需的跨阻放大器和模数转换单元均为(m×n)/(16×16)个;若m和n不都是16的倍数,则需先做补零操作,再按照上述方法计算。每个16×16最小图像块都使用相同的时序控制信号,即方便了模拟图像的采集和压缩,也方便了压缩图像的重构。
由于当所处理最小图像块的像素为16×16时,随机测量矩阵较大,不易完全写出矩阵计算和时序控制的全过程,所以用4×4像素的最小图像块举例,图5所示为压缩率为4时,4×16的随机测量矩阵与16×1的原始图像信号矩阵相乘,得到4×1的压缩后模拟数据矩阵的示意图。图6所示为根据图5的随机测量矩阵所控制的图像采集时序。
所述基于压缩传感的全局式曝光CMOS图像传感器,电路如图7所示。随机0-1序列产生单元将数据存储到随机序列存储单元;随机序列存储单元将数据按照不同压缩率的时序要求输入给各像素单元的像素选通晶体管栅极,给CMOS像素单元阵列的像素选通晶体管提供控制信号;时序控制单元控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序;各跨阻放大器分别连接在相应CMOS像素单元阵列块和模数转换器之间。
本发明基于压缩传感的全局式曝光CMOS图像传感器,在图像传感的同时进行模拟数据压缩,使用全局式曝光方式,使全部像素同时开始和结束曝光,再进行读出工作。本发明基于压缩传感理论,数模转换前完成图像传感和压缩,在保证与传统方法相同分辨率的前提下,减少了处理数据量,降低了对模数转换器采样速度的要求,节约了数据存储空间;同时使用硬件方式压缩数据,相比在模数转换后软件方式的数据压缩,提高了处理速度;使用全局式曝光方式,可采集高速运动物体的瞬时图像。
以上所述仅为发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于压缩传感的全局式曝光CMOS图像传感器;其特征在于:
所述CMOS像素传感器在图像传感的同时进行模拟数据压缩,使用全局式曝光方式,使全部像素同时开始和结束曝光,再进行读出工作。
2.如权利要求1所述的基于压缩传感的全局式曝光CMOS图像传感器,其特征在于,包括:
有记忆功能的像素单元阵列,由多个具有可存储并多次选择性输出固定瞬时光照信息的像素单元排列成矩阵构成;
随机0-1序列产生单元,产生随机0-1序列,构成基于压缩传感的测量矩阵;
随机序列存储单元,存储随机0-1序列产生单元产生的随机0-1序列,给各像素单元的数据输出提供控制信号;
时序控制单元,控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序;
跨阻放大单元,由多个跨阻放大器构成,将各像素阵列块输出的电流转换成电压;
模数转换单元,由多个模数转换器构成,将各跨阻放大器输出的模拟图像数据转换成数字图像数据。
3.如权利要求1所述的基于压缩传感的全局式曝光CMOS图像传感器,其特征在于:所述随机0-1序列产生单元将数据存储到随机序列存储单元;随机序列存储单元将数据按照不同压缩率的时序要求输入到各像素单元的像素选通晶体管栅极,作为其控制信号;时序控制单元控制各像素单元中光生电荷的积累、存储及输出和整个电路的时序;各跨阻放大器分别连接在相应CMOS像素单元阵列块和模数转换器之间。
CN201310721862.9A 2013-12-24 2013-12-24 一种基于压缩传感的全局式曝光cmos图像传感器 Expired - Fee Related CN103686006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310721862.9A CN103686006B (zh) 2013-12-24 2013-12-24 一种基于压缩传感的全局式曝光cmos图像传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310721862.9A CN103686006B (zh) 2013-12-24 2013-12-24 一种基于压缩传感的全局式曝光cmos图像传感器

Publications (2)

Publication Number Publication Date
CN103686006A true CN103686006A (zh) 2014-03-26
CN103686006B CN103686006B (zh) 2017-04-05

Family

ID=50322143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310721862.9A Expired - Fee Related CN103686006B (zh) 2013-12-24 2013-12-24 一种基于压缩传感的全局式曝光cmos图像传感器

Country Status (1)

Country Link
CN (1) CN103686006B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010838A1 (en) * 2014-07-12 2016-01-21 Gibbons Robert C Read-out integrated circuit with integrated compressive sensing
CN107734273A (zh) * 2017-10-27 2018-02-23 中国电子科技集团公司第四十四研究所 用于列级adc架构cmos图像传感器的高速数据读出电路
CN108184081A (zh) * 2018-01-15 2018-06-19 北京时代民芯科技有限公司 一种用于cmos图像传感器中的高速数据读出电路
CN109756651A (zh) * 2017-11-01 2019-05-14 浙江舜宇智能光学技术有限公司 低温环境高速摄像设备及其成像方法
CN110461270A (zh) * 2017-02-14 2019-11-15 阿特雷塞斯有限责任公司 具有压缩和/或cmos开窗的高速光学跟踪
CN113014837A (zh) * 2021-02-20 2021-06-22 北京大学深圳研究生院 一种光电式的传感像素电路
CN116226031A (zh) * 2023-02-21 2023-06-06 安徽医科大学 一种基于感存算一体化的芯片系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1689164A (zh) * 2002-08-23 2005-10-26 微米技术有限公司 具有层叠式雪崩倍增层和低电压读出电子电路的cmos aps
CN101110913A (zh) * 2006-07-19 2008-01-23 奥林巴斯株式会社 固态摄像装置
US20110315988A1 (en) * 2009-10-05 2011-12-29 Zena Technologies, Inc. Passivated upstanding nanostructures and methods of making the same
CN102638659A (zh) * 2012-03-28 2012-08-15 西安电子科技大学 基于cmos-tdi模式的高分辨率成像系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1689164A (zh) * 2002-08-23 2005-10-26 微米技术有限公司 具有层叠式雪崩倍增层和低电压读出电子电路的cmos aps
CN101110913A (zh) * 2006-07-19 2008-01-23 奥林巴斯株式会社 固态摄像装置
US20110315988A1 (en) * 2009-10-05 2011-12-29 Zena Technologies, Inc. Passivated upstanding nanostructures and methods of making the same
CN102638659A (zh) * 2012-03-28 2012-08-15 西安电子科技大学 基于cmos-tdi模式的高分辨率成像系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
瞿广财: "基于CMOS图像传感器的压缩感知成像系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170134672A1 (en) * 2014-07-12 2017-05-11 Robert C. Gibbons Read-out integrated circuit with integrated compressive sensing
CN107005662A (zh) * 2014-07-12 2017-08-01 雷神公司 具有集成压缩感知的读出集成电路
WO2016010838A1 (en) * 2014-07-12 2016-01-21 Gibbons Robert C Read-out integrated circuit with integrated compressive sensing
CN107005662B (zh) * 2014-07-12 2020-04-28 雷神公司 具有集成压缩采样的读出集成电路和焦平面阵列成像系统
US10097774B2 (en) * 2014-07-12 2018-10-09 Raytheon Company Read-out integrated circuit with integrated compressive sensing
CN110461270A (zh) * 2017-02-14 2019-11-15 阿特雷塞斯有限责任公司 具有压缩和/或cmos开窗的高速光学跟踪
CN107734273A (zh) * 2017-10-27 2018-02-23 中国电子科技集团公司第四十四研究所 用于列级adc架构cmos图像传感器的高速数据读出电路
CN107734273B (zh) * 2017-10-27 2019-11-05 中国电子科技集团公司第四十四研究所 用于列级adc架构cmos图像传感器的高速数据读出电路
CN109756651A (zh) * 2017-11-01 2019-05-14 浙江舜宇智能光学技术有限公司 低温环境高速摄像设备及其成像方法
CN108184081A (zh) * 2018-01-15 2018-06-19 北京时代民芯科技有限公司 一种用于cmos图像传感器中的高速数据读出电路
CN113014837A (zh) * 2021-02-20 2021-06-22 北京大学深圳研究生院 一种光电式的传感像素电路
CN113014837B (zh) * 2021-02-20 2023-04-18 北京大学深圳研究生院 一种光电式的传感像素电路
CN116226031A (zh) * 2023-02-21 2023-06-06 安徽医科大学 一种基于感存算一体化的芯片系统

Also Published As

Publication number Publication date
CN103686006B (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN103686006A (zh) 一种基于压缩传感的全局式曝光cmos图像传感器
US10594973B2 (en) Conditional-reset, multi-bit read-out image sensor
US9001251B2 (en) Oversampled image sensor with conditional pixel readout
EP2974280B1 (en) Threshold-monitoring, conditional-reset image sensor
JP2020505855A (ja) 拡張されたダイナミックレンジを備えたイメージングアレイ
CN101909157B (zh) 在图像传感器中获得高动态范围图像的方法及图像传感器
CN100490497C (zh) 红外焦平面读出电路
CN103856730A (zh) 基于像素级模数转换的紫外焦平面读出电路及其读出方法
CN102685403B (zh) 扩展tdi-cmos图像传感器动态范围的方法
CN102625059B (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
CN203775318U (zh) 基于像素级模数转换的紫外焦平面读出电路
CN103024309B (zh) 用于快速获取单幅低阶累加图像的cmos图像传感器
CN102595065B (zh) 宽动态范围时间延时积分型cmos图像传感器
CN108184081A (zh) 一种用于cmos图像传感器中的高速数据读出电路
CN109040633B (zh) 具有增益补偿的hdr图像传感器、读出电路及方法
CN110505421A (zh) 具有全局快门的宽动态范围图像传感器
CN104219468A (zh) 高行频cmos-tdi图像传感器
CN109151293B (zh) 具有增益补偿的hdr图像传感器、读出电路及方法
CN108391071A (zh) 一种采用二次相关双采样技术的spad阵列级读出电路
CN103533265A (zh) 高速全局快门图像传感器像素及其信号转移控制方法
EP2863628A1 (en) Readout circuit for image sensors
CN102833494B (zh) 基于预测编码的cmos数字像素传感器噪声消除装置
CN101909158A (zh) 在图像传感器中获得高动态范围图像的方法及图像传感器
CN102740007A (zh) 主动式影像感测电路及其感测方法
JPWO2018221074A1 (ja) 受光デバイスおよび受光デバイスの信号読み出し方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170405

CF01 Termination of patent right due to non-payment of annual fee