CN1089418A - 图像存贮装置 - Google Patents

图像存贮装置 Download PDF

Info

Publication number
CN1089418A
CN1089418A CN93116410A CN93116410A CN1089418A CN 1089418 A CN1089418 A CN 1089418A CN 93116410 A CN93116410 A CN 93116410A CN 93116410 A CN93116410 A CN 93116410A CN 1089418 A CN1089418 A CN 1089418A
Authority
CN
China
Prior art keywords
view data
signal
scanning period
storing apparatus
horizontal scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN93116410A
Other languages
English (en)
Other versions
CN1036235C (zh
Inventor
笛浩一郎
井泽洋介
奥村直司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1089418A publication Critical patent/CN1089418A/zh
Application granted granted Critical
Publication of CN1036235C publication Critical patent/CN1036235C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • H04N5/95Time-base error compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Abstract

本发明的图像存贮装置备有存贮视频信号图像 数据的FIFO存贮器和控制上述存贮器写入和读出 的控制部分,上述控制部分在图像数据写入动作中, 每次输入视频信号的水平同步信号时,都将该水平扫 描周期的亮度信号图像数据,从第一个开始,按所定 个数依次写入上述FIFO存贮器,并在图像数据的读 出中,每次输入水平同步信号时,又将上述所定个数 的图像数据作为该水平扫描周期的图像数据按写入 时的顺序进行读出。

Description

本发明涉及将非标准视频信号的图像数据存入FIFO(先进先出)存贮器中的图像存贮装置。
近年来,人们通过对图像信息进行信号处理而在画面上取得种种效果。在这种情况下,一旦将图像信号存入存贮器后,就常用对所存图像信息进行信号处理的办法。
图像信息的信号处理通常是对用与色同步信号同步的时钟频率(即色同步锁定时钟频率)将视频信号取样后所得图像数据进行的。由输入垂直同步信号检测一帧面图像信号的起始点后,接着由输入水平同步信号检测亮度信号的起始点,从该点开始,用色同步锁定时钟频率对亮度信号依次取样,从而求出一帧面的图像数据,然后将该图像数据依次写入存贮器。此时,存在将垂直同步信号与水平同步信号的相对位置和信号幅度作为广播制式规定的规范类标准图像信号以及与其相反的非标准图像信号,如磁带录像机再现的图像信号等。磁带录像机再现的图像信号由于机械元件动作变化而成为非标准图像信号的情况不少。能以4fsc(fsc:色同步信号频率)的色同步锁定时钟频率将图像信号取样的图像数据的个数,对非标准图像信号的一水平扫描周期而言,NTSC制时在910±30之间变动,而PAL制时在1135±30范围内变动。
因此,如在某画面与其后的画面合成时,或非标准图像信号的画面合成到标准图像信号的画面上等情况中,由于在两个画面之间水平扫描周期的数据个数不同,所以产生了图像数据不能正确对应等问题。图7以模式图表示将水平同步信号间隔变化的非标准图像信号的一帧面图像数据依次读入存贮器,又设一水平扫描周期的图像数据为910个,并依次读出,同时使之与一水平扫描周期内图像数据共计为910个的标准图像信号的一帧面图像数据相对应的情况。由图可知,如果在这样的两帧图像间处理图像数据,则图像中出现水平同步信号波形的影响,并产生缺陷。为解决这个问题,把图像数据划分到各水平扫描周期内写入存贮器,因而如果使用在各水平扫描周期内读出的办法,则如图7(b)所示,可对应于按水平扫描周期取样的原来位置,再现各图像数据。为了实现这样的图像存贮装置,采用的办法是根据地址将图像数据划分到各水平同步信号中,并对存储器进行写入和读出。
下面说明进行上述动作的已有图像存贮装置。图6表示使用按地址输入输出数据的场存贮器的已有图像存贮装置的构成方框图。在图中,6为根据水平同步信号生成场存贮器7写入、读出地址的地址生成电路,7为根据上述地址写入或读出的场存贮器。
上述结构的图像存贮装置的动作如下。地址生成电路6生成对应于水平扫描周期序号的Y轴方向的地址(以下称为Y地址)和对应于水平扫描周期内图像数据序号的X轴方向的地址(以下称为X地址),而且把Y地址与X地址的组合作为地址q,利用多位并行数据输出到半帧存贮器7。例如,设各水平扫描周期的Y地址为Y1、Y2、……,而水平扫描周期内各图像数据的X地址作为X1、X2……时,地址生成电路6通过输入垂直同步信号检测到一帧面图像信号的起始点后,将Y地址取为Y1,并且水平同步信号从输入时开始按每个时钟信号对X地址依次向上计数为X1、X2……,场存贮器7再按照上述地址依次写入水平扫描周期的图像数据。地址生成电路6在下一个水平同步信号输入的起始点使X地址回到X1后又开始向上计数为X1、X2……,与此同时将Y地址取为Y2,场存贮器7再按照该地址依次写入该水平扫描周期的图像数据。按此进行,可将一帧面图像数据写入场存贮器7中。又,在将存贮在场存贮器中的图像数据读出时,地址生成电路6每输入水平同步信号分别取Y地址为Y1、Y2……,并对各Y地址中依次生成X地址X1、X2……,场存贮器7再按照上述地址输出各水平扫描周期的图像数据。
于是,通过将各水平扫描周期的图像数据划分到每个水平扫描周期进行写入和读出,并再现读出图像数据,以便对应各水平扫描周期的取样顺序,并与其他视频信号的图像数据谐调(如图7(b)所示)。
然而,如上的已有结构中,必须有地址生成电路6,同时为了发送地址q,还要有许多接线脚,所以存在电路规模大的问题。
本发明的目的在于解决上述问题,并提供一种能使电路规模减小的图像存贮装置。
理想的情况是:本发明的图像存贮装置备有存贮视频信号图像数据的FIFO(先进先出)存贮器和控制上述FIFO存贮器写入、读出的控制部分,而且上述控制部分在图像数据的写入动作中,每次输入视频信号的水平同步信号,都将该水平扫描周期的亮度信号图像数据,从第一个开始,按所定个数依次写入上述FIFO存贮器,并在图像数据的读出中,每次输入水平同步信号,又将上述所定个数的图像数据作为该水平扫描周期的图像数据按写入时的顺序进行读出。
在上述结构中,本发明的图像存贮装置作用如下。FIFO存贮器只限于从第一个到所定的个数,依次写入视频信号各水平扫描周期的亮度信号图像数据,而且按上述写入顺序,各水平同步信号仅读出上述所定数量的图像数据。
因此,在本发明的图像存贮装置中,能存贮从各水平扫描周期亮度信号的起点开始,数量必要且充分的图像数据,并在各水平扫描周期能分别读出所划分的图像数据。而且,不用地址生成电路,可减小电路规模。当然,只通过改变所存图像数据的数量,就能适应NTSC、PAL等电视制式。
图1表示本发明图像存贮装置实施例的构成框图;
图2表示本发明实施例中控制部分的构成框图;
图3表示本发明实施例中图像存贮装置的存贮动作时间图;
图4表示使用本发明图像存贮装置的噪音抑制电路的一实施例构成框图;
图5表示使用本发明图像存贮装置的字幕处理电路的一实施例构成框图;
图6表示已有图像存贮装置的构成框图;
图7以模式图表示标准视频信号图像数据与非标准视频信号图像数据对应关系。
图1用方框图表示本发明的图像存贮装置一实施例的构成。图中,1为控制FIFO存贮器2的写入和读出动作的控制部分,该部分在数据写入方面,垂直同步信号V输入后,与水平同步信号h同步,将控制信号S作为写赋能脉冲输出给FIFO存贮器2,这样将写入FIFO存贮器的一水平扫描周期数据量控制在所定个数上,在读出数据方面,垂直同步信号V输入后,与水平同步信号h同步,将控制信号S作为读赋能脉冲输出给FIFO存贮器2,这样将每一水平扫描周期读出的数据量控制在所定个数上;2为利用控制部分1的控制依次写入数据,又按所写入的顺序输出数据的FIFO存贮器,该存储器通过垂直同步信号V的输入进行复位并写入,或设定读出的起始地址,然后将控制信号S作为写赋能脉冲或读赋能脉冲输入,并在信号S处于起作用的状态时,对每一时钟信号CK依次写入或读出输入数据。此外,本实施例中,设一图像数据由φ比特组成来进行说明。
图2为表示图1中的控制部分1的构成的方框图。图中,3为加法器,该加法器在每当D触发器5输出脉冲时对一图像数据的比特数φ进行累计,并指示出与水平同步信号同步记录或读出的最后图像数据的最后比特;4为累加计数器,该计数器在每当输入水平同步信号h时从所定的设定值开始向上计数至满档,并在满档时停止,由下一水平同步信号的输入进行复位,然后又从上述设定值开始向上计数,这样一次计数对应于一个图像数据。5为用时钟信号CK对计数器4的输出波形进行整形的D触发器(以下称为D-FF),6为输出控制信号S的RS触发器(以下称为RS-FF),7为对照电视制式,预先存贮上述设定值的寄存器。该设定值为用于限制一水平扫描周期图像数据个数的数值,在本实施例中,计数器4从上述设定值计数至满档的数值,即(满档数-设定值),等于图像数据的个数。再者,如图7(b)所示,实际画面中可见的横向范围比视频信号水平扫描宽度小,所以可预先设定成存贮的图像数据数量比可见范围的图像数据数量多,比标准视频信号的图像数据数量少。
在上述结构成中,本实施例的图像存贮装置的作用如下。首先,说明其存贮的动作。初始的计数器4处于复位状态,并置入上述设定值作为复位时计数的初始值。通过输入水平同步信号,RS-FF6起作用,作为其输出的控制信号S随之起作用,与此同时,计数器4从上述设定值开始向上计数。另一方面,把控制信号S作为写赋能信号的FIFO存贮器2从控制信号S起作用时开始,以比特为单位,对每个时钟信号CK依次写入图像数据。在该过程中,D-FF5利用时钟信号CK将计数器4的输出Q波形整形,并输出给加法器3,而加法器3每当输入1计数值时,对一图像数据预定的比特数φ进行累计,计数器4达到满档后停止计数,一旦上述累计值达到与最后的图像数据的最后比特相对应的数值,即将进位信号输出给RS-FF6,并使控制信号S为负。这时,FIFO存贮器2变成不能写入的状态,因而停止图像数据的写入。利用上述动作,从水平扫描周期的起点开始,FIFO存贮器依次写入图像数据直至规定的数量,而其后所接遗留图像数据不能写入FIFO存贮器2。
图3表示上述动作的时间图。图3(a)中所示的波形A表示非标准视频信号的亮度信号波形,虽未图示,但可对应于波形A,形成用色同步锁定时钟频率取样波形A的图像数据。再者,波形A横座标上赋予的数字表示各水平扫描周期的图像数据个数。图3(b)所示波形B表示图像数据的个数在从水平扫描周期起点开始到预定值为止的范围内时,视频信号的波形。图3(c)的波形表示由控制信号S写入或读出的赋能脉冲,而且给出FIFO存贮器2进行图像数据写入动作的周期。对各水平扫描周期的输入重复上述动作后,可将一帧面的图像数据连续写入FIFO存贮器2。
下面说明图像数据的输出动作。现在,将存贮在FIFO存贮器2中的图像数据作为与某视频信号的水平同步信号同步读出的内容。FIFO存贮器2通过输入该视频信号的垂直同步信号而将FIFO存贮器2置于初始地址。控制部分1每当输入水平同步信号时其计数器4从设定值开始向上计数,与写入动作的情形相同,从水平同步信号的起始时间开始到计数值满档,同时图像数据也累计到预定数的最后比特,这时控制信号起作用,并输出。FIFO存贮器2将该控制信号S作为读赋能脉冲输入,通过将图像数据以比特为单位,同步于时钟信号CK依次输出,对每个水平同步信号,按照写入的顺序输出预定个数的图像数据。每个水平同步信号重复上述动作,可将一帧面的图像数据划分到各个水平同步信号中读出。
如上所述,按照本发明的实施例,视频信号的图像数据可划分到各水平扫描周期写入FIFO存贮器,并能以同各水平扫描周期的取样点相对应的顺序读出,而且由于使用FIFO存贮器,不需要地址生成电回路,也不需要数量较多的地址传送线路。
上述说明中,虽然设视频信号为非标准叙述,可是毋需置言,也可以是标准视频信号。
下面是关于本发明图像存贮装置应用例的简单说明。
图4以方框图表示应用本发明的图像存贮装置的噪声抑制装置的构成。图中,31为本发明的图像存贮装置,32为进行减运算的加法器,33为将加法器32的输出乘K的乘法器,34为进行减法运算的加法器;35为视频信号图像数据的输入端子,36为视频信号图像数据的输出端子。图示的结构中,在动作开始的时间点上,图像存贮装置31由于没有存贮图像数据,所以也没有其输出。因此,起始第一步若输入端子35依次输入初始的一帧面图像数据,则该图像数据在加法器34中不存在任何加法运算,并顺次写入图像存贮装置31。下一步接着输入下一帧面的图像数据,同时依次读出图像存贮装置31的图像数据,并在加法器32中,将输入的图像数据减去图像存贮装置31输出的图像数据。这时,输入加法器32的图像数据与图像存贮装置输出的上一个图像数据,对于图像而言,存在很大的相关性,而对于噪声成分不存在相关性,所以通过加法器32的减法处理只输出噪声成分。该输出由乘法器33乘以K倍,再通过加法器34从输入的图像数据中减去噪声成分,从而减低了噪声,再从端子36输出。又通过增加对n幅画面的图像信号求平均值的处理,这样能使噪声功率为1/n、噪声振幅为1/n2
此外,乘法器33中的系数K的值在0<K<1范围内选择,在静止图像中,K越接近1,噪声能降得越低,而在动态图像中,K越近于零,越能获得减低图像模糊的效果。
在本实施例中,本发明的图像存贮装置31输出的图像数据由于在各水平扫描周期正确地对应画面上的位置,所以其输出与由端子35输入的图像数据在画面上位置总是一致的,因而未见水平同步信号影响画面间的信号处理的结果。
图5用方框图表示使用本发明图像存贮装置的字幕处理装置的构成。图中,41为由输入的图像数据分割出字幕的字幕分割装置,42为本发明的图像存贮装置,43为输入图像数据并扩大该图像宽高比的图像扩大装置,44为将图像扩大装置43的输出与图像存贮装置的输出相加的加法器,45为图像数据的输入端子,46为图像数据的输出端子。在图5所示的结构中,起始第一步时,字幕分割装置41根据输入的图像数据将该字幕分割输出,然后图像存贮装置42存贮该字幕的图像数据。下一步,图像扩大装置43根据输入的其它图像数据,将图像宽高比从4∶3变换成16∶9(例),再输出给加法器,同时图像存贮装置42把所存字幕的图像数据输出给加法器44。加法器44将这些图像数据相加,并在宽高比扩大的图像上叠加上未扩大的原有字幕,然后从输出端子46上输出。
在本实施例中,本发明的图像存贮装置42输出的图像数据,由于在各水平扫描周期能正确地对应于画面上的位置,所以该图像数据在图像扩大装置43的各水平扫描周期能在原有字幕的位置上输出。

Claims (6)

1、一种存贮或输出视频信号图像数据的图像存贮装置,其特征在于,它备有存贮视频信号图像数据的FIFO存贮器、和控制上述FIFO存贮器的写入和读出的控制部分,而且上述控制部分在图像数据的写入动作中,每次输入视频信号的水平同步信号时,都将该水平扫描周期的亮度信号图像数据,从第一个开始,按所定个数依次写入上述FIFO存贮器,并在图像数据的读出中,每次水平同步信号输入时,又将上述所定个数的图像数据作为该水平扫描周期的图像数据按写入时的顺序进行读出。
2、如权利要求1所述的图像存贮装置,其特征在于,所述控制部分通过对每个水平同步信号将控制信号作为FIFO存贮器的写赋能脉冲输出,以规定水平扫描周期写入的图像数据的个数,并且通过把每个水平扫描周期的控制信号作为FIFO存贮器的读赋能脉冲输出,以规定对应于水平扫描周期读出的图像数据的个数。
3、如权利要求1所述的图像存贮装置,其特征在于,一水平扫描周期写入或读出的图像数据的个数,少于对标准视频信号取样的图像数据一水平扫描周期的个数,但比显示装置可见范围的值大。
4、如权利要求1所述的图像存贮装置,其特征在于,FIFO存贮一帧面的图像数据。
5、如权利要求1所述的图像存贮装置,其特征在于,图像数据是将视频信号的亮度信号用色同步信号锁定的时钟频率进行取样的。
6、如权利要求1所述的图像存贮装置,其特征在于,所述图像数据是将非标准视频信号的亮度信号用色同步脉冲锁定的时钟频率进行取样的。
CN93116410A 1992-09-04 1993-09-02 图像存贮装置 Expired - Fee Related CN1036235C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP23708092 1992-09-04
JP237080/92 1992-09-04

Publications (2)

Publication Number Publication Date
CN1089418A true CN1089418A (zh) 1994-07-13
CN1036235C CN1036235C (zh) 1997-10-22

Family

ID=17010122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN93116410A Expired - Fee Related CN1036235C (zh) 1992-09-04 1993-09-02 图像存贮装置

Country Status (6)

Country Link
US (1) US5500682A (zh)
EP (1) EP0585903B1 (zh)
KR (1) KR960014500B1 (zh)
CN (1) CN1036235C (zh)
DE (1) DE69322458T2 (zh)
TW (1) TW284962B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6357047B1 (en) 1997-06-30 2002-03-12 Avid Technology, Inc. Media pipeline with multichannel video processing and playback
DE69529062T2 (de) * 1994-03-18 2003-09-11 Avid Technology Inc Pipelineverarbeitung von stehenden bildern geeignet zur echtzeitausführung von digitalen videoeffekten
DE19542877A1 (de) * 1995-11-17 1997-05-22 Teves Gmbh Alfred Verfahren zur Wiedergabe von Nachrichten
GB9816542D0 (en) * 1998-07-30 1998-09-30 Nds Ltd Method and apparatus for conveying picture information
KR100359311B1 (ko) * 2000-10-20 2002-10-31 아이원더넷 주식회사 이미지데이터의 메모리 저장방법
JP6136171B2 (ja) * 2012-10-02 2017-05-31 株式会社ソシオネクスト データ転送装置、データ転送方法、半導体装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2541841A1 (fr) * 1983-02-25 1984-08-31 Radiotechnique Dispositif de dechiffrement d'images de television brouillees par application aux signaux video de permutations circulaires
US4612568A (en) * 1984-11-05 1986-09-16 Rca Corporation Burst-to-line-locked clock digital video signal sample rate conversion apparatus
DE3742514A1 (de) * 1986-12-24 1988-07-07 Mitsubishi Electric Corp Variable verzoegerungsschaltung
JP3048576B2 (ja) * 1988-07-28 2000-06-05 キヤノン株式会社 画像形成装置及び画像形成方法
FR2645384B1 (fr) * 1989-04-04 1995-09-01 Europ Rech Electr Lab Dispositif et procede de generation de signaux de controle
JPH0342980A (ja) * 1989-07-10 1991-02-25 Sony Corp 時間軸圧縮方式映像信号再生装置
JPH0448884A (ja) * 1990-06-15 1992-02-18 Matsushita Electric Ind Co Ltd 記憶回路
JPH04142190A (ja) * 1990-10-03 1992-05-15 Hitachi Ltd 映像信号処理装置

Also Published As

Publication number Publication date
KR960014500B1 (ko) 1996-10-16
EP0585903B1 (en) 1998-12-09
EP0585903A2 (en) 1994-03-09
EP0585903A3 (en) 1994-03-30
KR940007677A (ko) 1994-04-27
DE69322458T2 (de) 1999-04-29
DE69322458D1 (de) 1999-01-21
US5500682A (en) 1996-03-19
TW284962B (zh) 1996-09-01
CN1036235C (zh) 1997-10-22

Similar Documents

Publication Publication Date Title
US5933196A (en) Pixel conversion apparatus
JPH04104684A (ja) 自動視野調整方法及び装置
US5422677A (en) Apparatus and method for processing a picture-in-picture video signal
JP2906332B2 (ja) テレシネ信号変換方法、及びアップコンバータ
JPH05244573A (ja) 画像信号処理装置及び方法
JPH0535959B2 (zh)
CN1036235C (zh) 图像存贮装置
US5703653A (en) Video signal compression apparatus for horizontal compression of a video signal
EP0746154B1 (en) A subpicture signal vertical compression circuit
EP0515155B1 (en) Scanning rate conversion
EP0291347B1 (en) Image processing method and apparatus
US6008854A (en) Reduced video signal processing circuit
EP0582305A1 (en) Video signal converting device and noise eliminator
US7139030B2 (en) Video signal processing apparatus
KR0132262Y1 (ko) 영상 수평보간 회로
JP3839206B2 (ja) 映像表示装置
JP2807044B2 (ja) イメージセンサ試験用同期信号発生器
JP3156566B2 (ja) 映像信号記録装置
JPH08214228A (ja) 副画面水平圧縮回路
JPH04344782A (ja) テレビジョン信号の走査速度変換装置
JPS5961879A (ja) フイ−ルドメモリ読み出し制御回路
JPH05276493A (ja) 映像適応型走査線補間装置
JPH04344784A (ja) テレビジョン信号の走査速度変換装置
JPH0720235B2 (ja) 映像信号処理装置
JPH01256880A (ja) ビデオフォーマット信号の信号処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee