CN112924966B - 一种太赫兹视频sar实时处理系统 - Google Patents

一种太赫兹视频sar实时处理系统 Download PDF

Info

Publication number
CN112924966B
CN112924966B CN202110095301.7A CN202110095301A CN112924966B CN 112924966 B CN112924966 B CN 112924966B CN 202110095301 A CN202110095301 A CN 202110095301A CN 112924966 B CN112924966 B CN 112924966B
Authority
CN
China
Prior art keywords
data
arm
fpga
sar
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110095301.7A
Other languages
English (en)
Other versions
CN112924966A (zh
Inventor
皮亦鸣
杨晓波
郑云伟
李晋
闵锐
曹宗杰
崔宗勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110095301.7A priority Critical patent/CN112924966B/zh
Publication of CN112924966A publication Critical patent/CN112924966A/zh
Application granted granted Critical
Publication of CN112924966B publication Critical patent/CN112924966B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904SAR modes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418Theoretical aspects

Abstract

本发明属于信号采集与处理技术领域,具体是涉及一种太赫兹视频SAR实时处理系统。本发明所提出的系统,由ARM+FPGA构成,其中,ARM与FPGA之间通过AXI总线进行通信连接,所述ARM通过lwip协议与SAR接收机进行数据交互,ARM对数据进行的处理包括:对接收到的SAR图像进行插值矩阵映射,对接收到的FPGA数据处理模块发送的数据进行转置及幅值归一化、转置及二维FFTshift,所述FPGA数量处理模块,对数据进行的处理包括:对数据进行距离向FFT、方位向FFT、复信号取模、伪彩色转换、视频流转换。本发明通过使用高集成度的FPGA+ARM平台实现太赫兹视频SAR实时处理系统,完成数据接收、数据处理、数据显示三大功能,能减小系统开发成本的同时,减小系统的体积、功耗。

Description

一种太赫兹视频SAR实时处理系统
技术领域
本发明属于信号采集与处理技术领域,具体是涉及一种太赫兹视频SAR实时处理系统。
背景技术
随着太赫兹SAR技术的不断完善,由于其本身较小的积累时间,能给将信号采集的时间保持在一个较低的水平,也正因为如此,如果能进一步提高成像系统的数据处理能力,保证接收数据的一个及时刷新能力,太赫兹SAR便能可成为一颗人类的新型眼球,完成一些意想不到的作用。但由于太赫兹SAR技术才刚起步不久,国内外的SAR成像系统多是基于数据量较大,数据延迟较高的低频段系统,其系统结构主要就提高成像算法的并行度而设计,并不是围绕“实时”二字进行考量,还有部分系统将成像系统与接收机、发射机融合到一起,极大的降低了单个成像系统的可移植性以及整个系统的可扩展性。
发明内容
本发明的目的是针对问题,提供一种独立于雷达收发机,并具有可量产、小型化、低成本、可扩展性强且实时性较高的太赫兹视频SAR实时处理系统,以解决对太赫兹SAR回波信号处理速度不够的问题,并为后续其他成像算法移植提供接口,为太赫兹视频SAR系统的完善提供技术支撑。
本发明的技术方案为,太赫兹视频SAR实时处理系统,包括:
一ARM处理器,用于接收并存储数据,对数据进行处理;
一FPGA数据处理模块,用于处理数据信息;
其中,ARM与FPGA之间通过AXI总线进行通信连接;
所述ARM通过lwip协议与SAR接收机进行数据交互,ARM对数据进行的处理包括:对接收到的SAR图像进行插值矩阵映射,对接收到的FPGA数据处理模块发送的数据进行转置及幅值归一化、转置及二维FFTshift;
所述FPGA数量处理模块,对数据进行的处理包括:对数据进行距离向FFT、方位向FFT、复信号取模、伪彩色转换、视频流转换;
数据流在ARM和FGPA的传送通路为:
a.ARM接收SAR图像,将图像缓存在DDR中,每缓存一副图像数据后,进行插值矩阵映射;
b.FPGA通过DMA提取插值矩阵映射后的图像数据,进行距离向FFT后,将数据发送回ARM端;
c.ARM对距离向FFT后的数据进行转置及幅值归一化;
d.FPGA通过DMA提取转置及幅值归一化后的数据,进行方位向FFT,然后通过Cordic算法进行复信号取模,之后再通过伪彩色转换模块为处理完成的图像上色,将上色后的图像数据发送回ARM端;
e.ARM对上色后的图像数据进行转置及二维FFTshift;
f.FPGA通过VDMA提取转置及二维FFTshift后的数据,进行视频流转换,最终输出视频数据。
如图1所示,所述ARM处理器为双核处理器,对应的,在进行转置及幅值归一化、转置及二维FFTshift操作时,将待处理的数据分为两部分,每个处理器处理一半的数据,之后将处理好的数据进行合并。
本发明的方案中,每缓存一副图像数据后,进行插值矩阵映射的具体方法是:基于矩阵映射思想的PFA算法实现途径,根据太赫兹SAR成像积累时间短的特点,得出相邻数帧之间的采样点在图像空间中拥有几乎相同坐标这一特性,将传统的需要对每一帧回波数据实现二维非线性插值这一复杂的运算过程,转换为通过每间隔十帧,寻找插值前后点与点之间的对应关系,并保存成一个存储索引号的矩阵,之后便可通过这一索引矩阵,将回波数据存储到相应的内存空间中。即使是曲线轨迹,也能保证成像的质量,并且极大的降低二维非线性插值所带来的庞大运算量,提高了系统的实时性。
本发明的方案中,采用的伪彩色空间映射技术具体是:采用归一化的伪彩色空间映射技术,由于SAR对单帧图像整体所在的幅值区间并不关注,故先在ARM中求得单帧数据的幅度最大值,然后选择具体的所需幅值区间,将每帧数据都通过归一化这种方式映射到相同的幅值区间中。这样既能通过调整幅值区间,动态的调整显示范围,又能有效地避免由于整体幅值区间过大而造成的其中某一帧的强目标或强噪声对其余帧弱目标造成的淹没现象。然后在FPGA中首先以扩充位宽的方式对数据进行运算,提高运算精度,再在伪彩色映射模块中采取低位截取高位取或的方法,既能避免单帧中强目标淹没弱目标,也能去除一些低噪声对于成像质量的影响
本发明的有益效果是:
本发明通过使用高集成度的FPGA+ARM平台实现太赫兹视频SAR实时处理系统,完成数据接收、数据处理、数据显示三大功能,能减小系统开发成本的同时,减小系统的体积、功耗。
本发明以“实时”二字为导向,优化了系统体系结构,改进了传统的PFA算法,对插值、频谱搬移及构建视频流缓存区三大操作进行合并实现,开启了双核并行处理,在LWIP模块与ARM数据交互之间,DMA、VDMA模块与ARM数据交互之间搭建了十余个乒乓缓存区,并为此设计了一套稳定的调度方案,甚至在进行LWIP实现时,摒弃了较为简单的Socket套接字,选取占用系统资源更少的RAW进行开发。整个系统的布局中的每一步均是从减少不必要的算力开支、合理分配系统资源从而提高系统实时性的角度出发。
本发明的方案可提供多个接口,大大的增强了系统的可扩展性,便于系统的二次开发。
附图说明
图1为本发明的逻辑结构示意图。
图2为数据在极坐标系下的分布示意图。
图3为计算插值矩阵流程图。
图4为伪彩色空间映射示意图。
图5为部分乒乓缓存区划分示意图
图6为矩阵转置及频谱搬移流程图
具体实施方式
下面结合附图,详细描述本发明的技术方案:
本发明太赫兹视频SAR实时处理系统,针对SAR回波数据成像处理,系统各个功能完善且成像延迟较低,其主体结构如图1所示,数字雷达接收机将SAR回波数据以及惯导信息通过网络接收模块分别缓存进事先规划好的对应DDR缓存区中,待缓存完成一帧图像数据后,将原回波数据送入插值矩阵映射模块,完成PFA算法中的波束域矫正过程,之后再将矫正完成的数据通过DMA读至FPGA中完成数据的大小端转换以及距离向上的傅里叶变换,然后通过DMA写回DDR中,ARM一侧通过读取此时存在DDR中的距离多普勒域的数据,将其进行转置以及幅值归一化操作,再将其缓存至DDR上的新缓存区中。仍然待缓存完成一帧图像后,将数据通过DMA发送至FPGA一侧,依次完成方位向傅里叶变换,数据信号取模,以及伪彩色映射得到RGB格式的数据流。然后通过VDMA写回DDR中,并以VDMA、VTC、AXI-Stream toVideo Out三内核搭建的视频流转换模块,有序的读取DDR上的数据,将其转换为视频流信号,最后再通过一个并转串的操作,转换为TMDS信号,通过HDMI接口进行显示。
本发明中所提及的矩阵映射思想的PFA算法实现途径,如图2所示,根据SAR回波的波数域公式推导可知,径向波数向量KR可表示如下:
Figure GDA0003003778540000041
其中,fc为雷达发射信号载频,tfast表征快时钟域时间变量。进一步可得KR的横、纵向投影Kx、Ky为:
Figure GDA0003003778540000042
上式中,ρ为系统俯仰角,θ为方位角。对于太赫兹视频SAR而言,由于单帧图像的积累时间较短,由上式不难得出即使在曲线轨迹下,每帧中每个采样点之间的间隔基本均匀,且相邻帧对应采样点也能保持有基本相同波数域空间坐标。据此本发明提出了一种基于矩阵映射的方法来代替传统PFA所需要实现的二维非线性插值过程,该方法通过每间隔数十帧,求得插值前后点与点之间的对应关系,并保存成一个存储索引号的矩阵Index,之后通过这一索引矩阵,将回波数据存储到相应的内存空间中。即使是曲线轨迹,也能保证成像的质量,并极大的降低二维非线性插值所带来的庞大运算量,提高了系统的实时性。
其中索引矩阵Index的求法如图3所示,首先根据惯导所返回的数据,初始化单位快时间Kx、Ky以及系统转角theta的变化量ΔKx、ΔKy、Δtheta,和单帧回波中首个点在波数域空间的位置
Figure GDA0003003778540000043
并据此初始化目标帧中所有点目标的波数域空间的位置,横纵坐标分别保存在向量Kx以及向量Ky中,之后根据系统距离向采样点数Nfast以及方位向采样点数Nslow遍历整组数据,根据四舍五入取整法求得距离插值后目标点最近原回波矩阵中点的径向索引KrIndex以及角度索引thetaIndex,并据此求得最后的索引矩阵Index。
本发明中所提及的归一化的伪彩色空间映射技术,包含数据幅值归一化以及伪彩色空间映射两方面的内容。首先对于数据幅值归一化而言,由于SAR对单帧图像整体所在的幅值区间并不关注,可先在ARM中求得单帧数据的幅度最大值,然后选择具体的所需幅值区间,将每帧数据都通过归一化这种方式映射到相同的幅值区间中,这样既能通过调整幅值区间,动态的调整显示范围,又能有效地避免由于整体幅值区间过大而造成的其中某一帧的强目标或强噪声对其余帧弱目标造成的淹没现象。而对于伪彩色映射方案,首先在FPGA中以扩充位宽的方式对数据进行运算,提高运算精度,再在伪彩色映射模块中采取低位截取高位取或的方法,再结合图4,红色分量与幅值信息成正相关,蓝色分量为负相关,绿色分量在低幅值区间为正相关,高幅值区间为负相关这样的映射方案完成伪彩色转换。通过该伪彩色映射方案,既能避免单帧中强目标淹没弱目标,也能去除一些低噪声对于成像质量的影响。
本发明中对于系统“实时性”的设计方案,除了前文所提及系统总体方案设计外,还采取了双ARM核并行处理,以减少ARM计算时的时间损耗,规划了数十个乒乓缓存区,如图5所示,以提高ARM与外设之间的并行性,并且在完成矩阵转置以及频谱搬移这一过程时,为了节省系统算力,设计了一种直接映射的方法,而没有采取分步实现,并通过该方法构建里视频流缓存区,如图6所示,save_data为操作完成后数据保存首地址,opt_data为待操作数据首地址,由于该模块上承伪彩色映射模块,下接视频流转换模块,故每个待操作数据地址间隔为DATA_BYTE=3而操作完成后每个数据之间的间隔为3个字节,nRfft与nAfft分别为距离与方位向傅里叶变换点数,DEMO_STRIDE为显示器每行像素点数,即需要将原本nRfft×nAfft大小的矩阵映射到DEMO_STRIDE×显示器行数这个矩阵中的相应位置,并完成矩阵转置以及频谱搬移操作。图6中,Equation1~3为:
Figure GDA0003003778540000051
Equation4~6为:
Figure GDA0003003778540000061
本发明还十分注重接口设计,在FPGA与ARM中各个模块之间均留有接口,如插值矩阵映射模块便是通过ARM中的一个接口函数完成。通过这种方式极大的增加了系统的可扩展性,有利于后续其余成像算法的开发与移植。

Claims (2)

1.太赫兹视频SAR实时处理系统,其特征在于,包括:
一ARM处理器,用于接收并存储数据,对数据进行处理;
一FPGA数据处理模块,用于处理数据信息;
其中,ARM与FPGA之间通过AXI总线进行通信连接;
所述ARM通过lwip协议与SAR接收机进行数据交互,ARM对数据进行的处理包括:对接收到的SAR图像进行插值矩阵映射,对接收到的FPGA数据处理模块发送的数据进行转置及幅值归一化、转置及二维FFTshift;
所述FPGA数量处理模块,对数据进行的处理包括:对数据进行距离向FFT、方位向FFT、复信号取模、伪彩色转换、视频流转换;
数据流在ARM和FGPA的传送通路为:
a.ARM接收SAR图像,将图像缓存在DDR中,每缓存一副图像数据后,进行插值矩阵映射;
b.FPGA通过DMA提取插值矩阵映射后的图像数据,进行距离向FFT后,将数据发送回ARM端;
c.ARM对距离向FFT后的数据进行转置及幅值归一化;
d.FPGA通过DMA提取转置及幅值归一化后的数据,进行方位向FFT,然后通过Cordic算法进行复信号取模,之后再通过伪彩色转换模块为处理完成的图像上色,将上色后的图像数据发送回ARM端;
e.ARM对上色后的图像数据进行转置及二维FFTshift;
f.FPGA通过VDMA提取转置及二维FFTshift后的数据,进行视频流转换,最终输出视频数据。
2.根据权利要求1所述的太赫兹视频SAR实时处理系统,其特征在于,所述ARM处理器为双核处理器,对应的,在进行转置及幅值归一化、转置及二维FFTshift操作时,将待处理的数据分为两部分,每个处理器处理一半的数据,之后将处理好的数据进行合并。
CN202110095301.7A 2021-01-25 2021-01-25 一种太赫兹视频sar实时处理系统 Expired - Fee Related CN112924966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110095301.7A CN112924966B (zh) 2021-01-25 2021-01-25 一种太赫兹视频sar实时处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110095301.7A CN112924966B (zh) 2021-01-25 2021-01-25 一种太赫兹视频sar实时处理系统

Publications (2)

Publication Number Publication Date
CN112924966A CN112924966A (zh) 2021-06-08
CN112924966B true CN112924966B (zh) 2022-04-22

Family

ID=76166181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110095301.7A Expired - Fee Related CN112924966B (zh) 2021-01-25 2021-01-25 一种太赫兹视频sar实时处理系统

Country Status (1)

Country Link
CN (1) CN112924966B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671495B (zh) * 2021-08-18 2024-02-23 上海无线电设备研究所 基于Zynq平台的太赫兹雷达探测系统以及方法
CN115856854B (zh) * 2023-02-24 2023-06-13 南京理工大学 一种模型与数据混合驱动的雷达探测方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400306B1 (en) * 1999-12-17 2002-06-04 Sicom Systems, Ltd Multi-channel moving target radar detection and imaging apparatus and method
CN103257341A (zh) * 2013-03-21 2013-08-21 西安电子科技大学 基于fpga的自聚焦算法快速实现方法
CN103616681A (zh) * 2013-12-04 2014-03-05 西安电子科技大学 基于Zynq系列FPGA的雷达成像方法
CN104007437A (zh) * 2014-05-21 2014-08-27 西安电子科技大学 基于fpga和多dsp的sar实时成像处理方法
CN105044718A (zh) * 2015-06-03 2015-11-11 西安电子科技大学 基于fpga和dsp的大斜视雷达成像装置和成像方法
CN105425238A (zh) * 2016-01-08 2016-03-23 中国人民解放军国防科学技术大学 一种逆合成孔径雷达成像并行处理方法
CN105549009A (zh) * 2015-12-09 2016-05-04 电子科技大学 一种基于超像素的sar图像cfar目标检测方法
CN105844580A (zh) * 2016-03-18 2016-08-10 西安电子科技大学 基于单片fpga的弹载sar成像系统架构设计
CN106896360A (zh) * 2017-04-21 2017-06-27 南京航空航天大学 一种sar信号处理算法的fpga实现方法
CN110412573A (zh) * 2019-08-08 2019-11-05 内蒙古工业大学 极化sar图像分解方法及存储介质
CN111538005A (zh) * 2020-05-13 2020-08-14 西安电子科技大学 基于fpga和多个多核dsp的sar前侧视成像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952313B2 (en) * 2014-09-19 2018-04-24 The Boeing Company Phase calibration of a stepped-chirp signal for a synthetic aperture radar

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400306B1 (en) * 1999-12-17 2002-06-04 Sicom Systems, Ltd Multi-channel moving target radar detection and imaging apparatus and method
CN103257341A (zh) * 2013-03-21 2013-08-21 西安电子科技大学 基于fpga的自聚焦算法快速实现方法
CN103616681A (zh) * 2013-12-04 2014-03-05 西安电子科技大学 基于Zynq系列FPGA的雷达成像方法
CN104007437A (zh) * 2014-05-21 2014-08-27 西安电子科技大学 基于fpga和多dsp的sar实时成像处理方法
CN105044718A (zh) * 2015-06-03 2015-11-11 西安电子科技大学 基于fpga和dsp的大斜视雷达成像装置和成像方法
CN105549009A (zh) * 2015-12-09 2016-05-04 电子科技大学 一种基于超像素的sar图像cfar目标检测方法
CN105425238A (zh) * 2016-01-08 2016-03-23 中国人民解放军国防科学技术大学 一种逆合成孔径雷达成像并行处理方法
CN105844580A (zh) * 2016-03-18 2016-08-10 西安电子科技大学 基于单片fpga的弹载sar成像系统架构设计
CN106896360A (zh) * 2017-04-21 2017-06-27 南京航空航天大学 一种sar信号处理算法的fpga实现方法
CN110412573A (zh) * 2019-08-08 2019-11-05 内蒙古工业大学 极化sar图像分解方法及存储介质
CN111538005A (zh) * 2020-05-13 2020-08-14 西安电子科技大学 基于fpga和多个多核dsp的sar前侧视成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于ZYNQ SoC的小型无人机载SAR实时成像处理研究";金牛;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190815;第I136-617页 *

Also Published As

Publication number Publication date
CN112924966A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112924966B (zh) 一种太赫兹视频sar实时处理系统
CN105844580B (zh) 基于单片fpga的弹载sar成像系统
CN106294234B (zh) 一种数据传输方法及装置
CN108132467A (zh) 基于增强型adc的dsp+fpga双基前视sar成像方法及成像装置
CN107907867A (zh) 一种多工作模式的实时sar快视系统
CN106896360A (zh) 一种sar信号处理算法的fpga实现方法
US11100899B2 (en) Systems and methods for foveated rendering
CN111108527B (zh) 用于当取回像素核时降低存储器延迟的方法、系统和设备
CN111009027B (zh) 一种利用3d lut实现色彩校正的方法和显示设备
CN104658027A (zh) 一种面向不规则海洋流场数据的三维流线动态可视化算法
CN109743515A (zh) 一种基于软核平台的异步视频融合叠加系统及方法
CN114095110B (zh) 一种提高频谱数据传输的同步性方法及系统
CN113359134B (zh) 基于嵌入式gpu的sar数据分布式实时成像处理系统及方法
CN103209331A (zh) 增强图像色彩饱和度的系统及方法
CN104268098A (zh) 一种用于超高清视频帧率上变换的片上缓存系统
CN117557480A (zh) Hud图像畸变校正模块、方法及hud图像处理显示装置
CN104486578B (zh) 一种基于颜色索引的船用雷达回波图像传输方法
CN112200719A (zh) 图像处理方法、电子设备及可读存储介质
CN112070651A (zh) 一种基于双Buffer架构下的纹理贴图硬件加速器
CN110399314A (zh) 一种cpu、一种电子设备以及一种cpu缓存控制方法
CN102857745B (zh) 基于fpga的双千兆网口传输高清视频及多媒体信号的发送装置
CN107948462A (zh) 超声图像优化方法和系统
CN112001492B (zh) 关于二值权重DenseNet模型的混合流水式加速架构及加速方法
CN202735509U (zh) 基于千兆网的雷达高速数据传输装置
CN107071326A (zh) 视频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220422

CF01 Termination of patent right due to non-payment of annual fee