CN1036969C - 数字图象数据的插值法及其电路 - Google Patents

数字图象数据的插值法及其电路 Download PDF

Info

Publication number
CN1036969C
CN1036969C CN94100629A CN94100629A CN1036969C CN 1036969 C CN1036969 C CN 1036969C CN 94100629 A CN94100629 A CN 94100629A CN 94100629 A CN94100629 A CN 94100629A CN 1036969 C CN1036969 C CN 1036969C
Authority
CN
China
Prior art keywords
interpolation
image data
value
carried out
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN94100629A
Other languages
English (en)
Other versions
CN1094209A (zh
Inventor
李星源
白俊基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1094209A publication Critical patent/CN1094209A/zh
Application granted granted Critical
Publication of CN1036969C publication Critical patent/CN1036969C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/911Television signal processing therefor for the suppression of noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

数字图象数据插值法,包括以下步骤:计算图象数据的四个相邻象素中的两个相邻象素之间差值的绝对值;在这些绝对值中找出最大值和次大值;用上述的结果对图象数据插值。本发明的电路系统包括边缘检测器、前置滤波器、零阶插值区域控制器,零阶插值器,动态平均装置、放大因子控制器和后置滤波器,从而提高图象的质量,并通过减少处理步骤简化硬件结构。

Description

数字图象数据的插值法及其电路
本发明涉及数字图象数据处理的方法及其电路,尤其是数字图象数据插值的方法及其电路。
常规的数字图象插值法采用了建立在最邻近插值(NNI)基础上的一种方法,这种NNI方法,不考虑边缘信息及周边象素之间的相互关系,而直接根据最邻近象素的值对数字图象数据进行插值。因此,用NNI法插值的图象,需反复使用动态滤波器,才能产生最终的插值和扩展图象。值得注意的是:NNI法除了在高度放大的图象中产生较大的矩形块之外,对具有低放大因子的图象质量影响并不大。而且,还可以用动态平均滤波器来消除上述情况下产生的的成块或镶嵌现象。然而,对于那些具有较高放大倍数的图象,就需要更多地重复进行动态平均滤波,而如果重复的次数太多,就会因过份强调图象的平滑性而导致图象对比度的显著退化。这是因为常规的方法显示的是对角线方向的平滑性,而这种平滑性却不如水平或垂直方向的平滑性好。因此,用常规的图象插值法来说明对角线插值所受影响的方式。
图1表示在放大因子为2的情况下,常规方法零阶插值图象的支持区域。
在图1中,x(i,j)表示在水平方向上动态平均的图象的第(i,j)个象素的强度,并由此得出等式(1a)-(1d)。yh(i,j)=1/2{x(i,j)+x(i+1,j)}              …(1a)yh(i+1,j)=1/2{x(i+1j)+x(j+2,j)}            …(1b)yh(j,j+1)=1/2{x(i,j+1)+x(i+1,j+1)}        …(1c)yh(i+1,j+1)=1/2{x(i+1,j+1)+x(i+2,j+1)}    …(1d)
式中的yh(i,j)表示在水平方向上被动态平均的x分量的强度。
接着,x分量2在垂直方向上被动态平均,其中利用上面的式子推出等式(2a)-(2d)。
y(i,j)-1/2{yh(i,j)+yh(i,j+1)}
       -1/4{x(i,j)+x(i+1,j)+x(i,j+1)+x(i+1,j+1)}          …(2a)y(i+1,j)-1/2{yh(i+1,j)+yh(i+1,j+1)}
       -1/4{x(i+1,j)+x(i+2,j)+x(i+1,j+1)+x(i+2,j+1)}    …(2b)y(i,j+1)-1/2{yh(i,j+1)+yh(i,j+2)}
       -1/4{x(i,j+1)+x(i+1,j+1)+x(i,j+2)+x(i+1,j+2)}     …(2c)y(i+1,j+1)-1/2{yh(i+1,j+1)+yh(i+1,j+2)}
       -1/4{x(i+1,j+1)+x(i+2,j+1)+x(i+1,j+2)+x(i+2,j+2)} …(2d)
需要指出的是:在上述的等式中,象素y(i,j)及其沿对角方向的相邻象素y(i+1,j+1)之间只有一个公共部分x(i+1,j+1),而水平垂直方向上的相邻象素之间却有两个公共部分。不同方向(即水平或垂直方向与对角方向)上公共部分个数的差异,使之无法满足二维图象数据中的方向对称性。这种方向的非对称性导致了镶嵌现象的出现。
为了解释为什么会出现镶嵌现象,以某些简单的图象数据为例来说明问题。图2给出了包含沿对角线方向的图象边缘的数据。在此,假定象素a的强度要比象素b的强度大得多。
图3表示用NNI法对图2中虚线围起来的那部分图象进行两倍零阶插值后的结果。
图4表示在水平或垂直方向上对图3中的图象进行动态平均后的结果。在图4中,y(i+2,j),y(i+1,j+1)和y(i,j+2)的值分别变为4b、a+3b和4b。因而,当a比b大得多时,a+3b也要比4b大得多,因此对角线方向上的边缘就会受到破坏。而且,边缘的斜率也会因此而被改变。
基于上述的原因,本发明的目的是提出一种数字零阶插值法,该方法消除零阶插值所产生的边缘成块和镶嵌现象,并能降低滤波器的数量级,以避免数字成象图象对比度的退化。
本发明的另一个目的是提供一种能实施上述方法的零阶插值电路。
本发明的用于实现上述的第一个目的的数字零阶插值法包括:一个计算步骤,用以计算图象数据的相邻4个象素中每相邻两个象素值之差的绝对值,然后再找出其中的最大值和次大值;一个图象数据插值步骤,用于利用上述的计算结果并根据这四个相邻象素的边缘形式实现图象数据的插值。
本发明的用于实现上述的第二个目的的数字零阶插值电路包括了以下装置;边缘检测装置,用于接收图象数据并检测边缘;前置滤波器,用于接收图象数据并对数据进行高通滤波;零阶区域插值装置,用以接收边缘检测装置的输出信号及差值的绝对值,找出数据的边缘形式,由此决定相邻四个象素的插入值;零阶插值装置,用于接收零阶区域插值装置的输出信号,然后把经过前置滤波的图象数据插入到相应的区域中;动态平均装置,用以接收经过零阶插值的信号并增强其平滑度;放大因子控制装置,用于把放大因子送到零阶插值区域控制装置、零阶插值装置和动本平均装置中;后置滤波器,用于对动态平均装置输出的图象数据进行低通滤波。
结合附图,将有助于更好地理解本发明的这些及其他目的、特征、方面和优点。
图1表示经过零阶插值的图象的支持域。
图2给出具有对角方向边缘的图象数据。
图3表示用NNI法进行零阶插值的图象数据。
图4给出经过NNI法水平或垂直方向动态平均后得到的图象数据。
图5表示经过零阶插值后保留了边缘的图象数据。
图6表示经过水平或垂直动态平均后保留边缘的图象数据。
图7根据相邻四个象素的情况,把各种形式的边缘分成三组。
图8表示将用零阶方法进行调节性插值的图象支持区域。
图9表示在某种具体条件下插值的结果。
图10给出数字图象插值电路的框图,该电路应用了本发明的数字图象插值法。
下面将结合附图,详细介绍本发明的数字图象插值法及其电路。
首先,为了简单解释数字图象的插值法,根据本发明的原理,对图象数据动态平均,并对边缘数据进行插值。图5给出边缘经过插值处理的图象数据。图6表示对图5中的图象数据进行动态平均处理后得到的图象数据。
在图6中,对角线成份,即y(i+2,j),y(i+1,j+1)和y(i,j+2)被动态平均处理,以显示其边缘形式完全保持不变,仍然是a+3b,而且边缘的斜率也得到了保持。本发明涉及一种能提取边缘信息并能维持边缘形式的零阶插值法。
图7给出了边缘形式的九种图案,这些图案是由相邻四个象素决定的,这里,各种边缘按照其形式被分为三组。
图8给出了图象的准备进行调节性的零阶插值的一个支持区域。在图8中,由相邻象素值之差的绝对值推出边缘信息,X1到X4分别表示在相邻四个象素值的图象数据强度。可由下面的式子得出d1、d2、d3和d4
           d1=|X4-X1|
           d2=|X1-X2|
           d3=|X2-X3|
           d4=|X3-X4|
对上述公式的四个值(即X1、X2、X3和x4)进行比较,找出最大值dmax和次大值dsmx,并用这两个值(dmax和dsmx)来检测其边缘形式。例如,d1=dmax,d2=dsmx,则按照图7中的模式a或b形成边缘;若d3=dmax,d4=dsmx,则边缘将具有模式b或c的形式。同理,若dmax和dsmx的值分别为d1和d2(或d3和d4),则边缘的形式将是第一组中的模式之一。因此,若dmax和dsmx的值分别为d1和d4(或d2和d3),则边缘的形式将是第二组的形式之一(模式d、e或f);若dmax和dsmx的值分别为d1和d3(或d2和d4),则边缘将形成第三组中的模式之一(模式g、h或i)。如上所述,一旦决定了图象的边缘形式,就能对图象数据进行插值处理。
如图8所示,插值是在与整个区域一同被分割的区域R1到R4以及S1到S4中进行的。首先,分别把X1、X2、X3和X4的值(最邻近象素的强度值)设定给R1、R2、R3和R4。S1到S4根据其边缘形式而被代以不同的值。
图9给出在dmax=d2和dsmx=d1条件下插值的结果。
在图9中,对第一组边缘形式,区域S2和S4分别被代以S2和X4的值。若dsmx=d1(或dsmx=d3),则用X4替换S1,X2替换S3;若dsmx=d2(或dsmx=d4),则用X2替换S1,X4替换S3。进一步地,第二组表明:X1和X3分别替换S1和S3,且若dsmx=d4(或dsmx=d2),则用X3和X3分别替换S2和S4;但若dsmx=d1(或dsmx=d3),则用X1和X1分别替换S2和S4;而第三组表明,分别用X1、X2、X3和X4替换S1、S2、S3和S4。
图10给出了本发明的数字零阶插值电路的框图,该电路体现了上述数字零阶插值法的应用。
在图10中,接收图象数据的边缘检测器10检测边缘。前置滤波器20对被接收的图象数据进行高通滤波。零阶插值区域控制器30接收边缘检测器10的输出信号以及差值的绝对值,由此决定其边缘形式及每个区域相对于相邻四个图象象素的插值位置。零阶插值器40接收来自零阶插值区域控制器30的输出信号,然后把经过前置滤波的图象数据插入相应的区域。动态平均装置50接收经过零阶插值的信号,并增强图象数据的平滑性。放大因子控制器60把放大因子送到零阶插值区域控制器30、零阶插值器40和动态平均装置50。最后,后置滤波器70对动态平均装置50输出的信号进行低通滤波。
因此,本发明的零阶插值法及其电路能对图象的边缘形式简化和分类,从而只需经过少量的计算,就能把图象数据零阶插值为保留边缘的形式。这使我们能够进行高质量的图象插值。因此,该算法得到了简化,用硬件设备来实现也很方便。
虽然在描述本发明时是针对它的具体情况而言,但应理解,在不背离所附权利要求书中所限定的精神和范围的前提下,本领域的技术人员可在形式和细节上作出各种改变。

Claims (7)

1.利用边缘信息以及素与其周边象素之间的关联对数字图象数据进行插值的方法,其特征在于包括:
绝对值计算步骤,用于计算图象数据的四个相邻象素中的两个相邻象素之差的绝对值;
最大值确定步骤,用于在所述绝对值计算步骤中计算出的差值中找出最大值和次大值;
插值步骤,用于利用所述计算值对图象数据进行插值。
2.如权利要求1所述的对数字图象数据进行插值的方法,其特征在于若从左上角开始按逆时针方向把四个象素标识为第一、第二、第三和第四象素,则所述绝对值计算步骤包括:
第一求值步骤,用于计算第四和第一象素值之差的绝对值;
第二求值步骤,用于计算第一和第二象素值之差的绝对值;
第三求值步骤,用于计算第二和第三象素值之差的绝对值;
第四求值步骤,用于计算第三和第四象素值之差的绝对值。
3.如权利要求1所述的对数字图象数据进行插值的方法,其特征在于最大值确定步骤在第一至第四求值步骤求出的绝对值中确定最大值和次大值。
4.如权利要求1所述的对数字图象数据进行插值的方法,其特征在于若把第一和第四象素之间的中点标识为第一位置、把第二和第一象素之间的中点标识为第二位置、把第三和第二象素之间的中点标识为第三位置、把第四和第三象素之间的中点标识为第四位置,并分别把相邻四个象素的第一和第三位置连接起来,并把第二和第四位置连接起来,以对图象数据区域进行划分,并分别把第一和第二位置、第二和第三位置、第三和第四位置以及第四和第一位置连接起来,从而把整个区域划分为八个部分,然后从外边的左上角开始按逆时针方向把各部分标识为第一、第二、第三和第四部分,并从里边的左上角开始也按逆时针方向标识第五、第六、第七和第八部分,则所述插值步骤用相邻数据替换第一、第二、第三和第四部分并根据以下的不同情况对第五、第六、第七和第八部分进行插值:
在第一组的情况下,当次大值是在第一或第三求值步骤中得到时,分别用第二和第四象素值替换第六和第八部分,并分别用第四和第二象素值替换第五和第七部分;当次大值是在第二或第四求值步骤中得到时,则分别用第二和第四象素值替换第五和第七部分,
在第二组的情况下,当次大值是在第四或第二求值步骤中得到时,分别用第一和第三象素值替换第五和第七部分,并分别用第一和第三象素值替换第六和第八部分;当次大值是在第一或第三求值步骤中得到时,则分别用第三和第一象素值替换第六和第八部分,
在第三组的情况下,分别用第一、第二、第三和第四象素值替换第五、第六、第七和第八部分。
5.如权利要求1所述的对数字图象数据进行插值的方法,其特征在于所述数字图象数据是根据图象数据中四个相邻象素的边缘形式得以零阶插值的。
6.如权利要求2所述的对数字图象数据进行插值的方法,其特征在于所述计算步骤还包括:最大值确定步骤,用于在对数字图象数据进行零阶插值时确定在经所述第一至第四计算步骤计算出的值中的最大值和次大值。
7.数字图象数据插值电路,包括:用于接收图象数据并检测其边缘的边缘检测器,和用于利用边缘信息以及象素与其周边象素之间的关联对图象数据进行插值的插值装置;
其特征在于所述插值装置包括:
前置滤波器,用于对所述输入图象数据进行高通滤波;
插值区域控制装置,用于接收所述边缘检测器的输出以及差值绝对值,确定其边缘形式,以便确定待插入到图象数据的四个相邻象素每部分中的值;
插值器,用于接收所述插值区域控制装置的输出,然后将经过前置滤波的图象数据插入相应区域中;
动态平均装置,用于通过接收所述经过插值的信号来增强边缘平滑性;
放大因子控制装置,用于把放大因子送到所述插值区域控制装置、所述插值装置和所述动态平均装置;以及
后置滤波器,用于对所述动态平均装置输出的图象数据进行低通滤波。
CN94100629A 1993-01-14 1994-01-13 数字图象数据的插值法及其电路 Expired - Fee Related CN1036969C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019930000419A KR950006776B1 (ko) 1993-01-14 1993-01-14 디지탈 영상 데이타의 보간방법 및 회로
KR93-419 1993-01-14

Publications (2)

Publication Number Publication Date
CN1094209A CN1094209A (zh) 1994-10-26
CN1036969C true CN1036969C (zh) 1998-01-07

Family

ID=19349635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN94100629A Expired - Fee Related CN1036969C (zh) 1993-01-14 1994-01-13 数字图象数据的插值法及其电路

Country Status (5)

Country Link
US (1) US5467439A (zh)
JP (1) JP3591859B2 (zh)
KR (1) KR950006776B1 (zh)
CN (1) CN1036969C (zh)
DE (1) DE4400645A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307569B1 (en) 1999-03-18 2001-10-23 Sharp Laboratories Of America, Inc. POCS-based method for digital image interpolation
US6411305B1 (en) * 1999-05-07 2002-06-25 Picsurf, Inc. Image magnification and selective image sharpening system and method
JP4626007B2 (ja) * 1999-06-14 2011-02-02 株式会社ニコン 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
JP2001008037A (ja) * 1999-06-23 2001-01-12 Nec Corp 画素補間方法および回路
US6771835B2 (en) 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same
CN1305007C (zh) * 2003-05-13 2007-03-14 矽统科技股份有限公司 动态影像象素的检测和重建方法
KR100543466B1 (ko) * 2003-11-13 2006-01-20 삼성전자주식회사 영상 보간 장치 및 방법
KR100541961B1 (ko) * 2004-06-08 2006-01-12 삼성전자주식회사 선명도 향상 및 잡음처리가 가능한 영상신호 처리장치 및방법
CN100338950C (zh) * 2005-06-25 2007-09-19 海信集团有限公司 电视机图像的任意位置区域放大方法
US7450184B1 (en) 2005-06-27 2008-11-11 Magnum Semiconductor, Inc. Circuits and methods for detecting 2:2 encoded video and systems utilizing the same
US7522214B1 (en) 2005-06-27 2009-04-21 Magnum Semiconductor, Inc. Circuits and methods for deinterlacing video display data and systems using the same
US7414671B1 (en) 2005-06-30 2008-08-19 Magnum Semiconductor, Inc. Systems and methods for display object edge detection and pixel data interpolation in video processing systems
US7538824B1 (en) 2005-08-18 2009-05-26 Magnum Semiconductor, Inc. Systems and methods for reducing noise during video deinterlacing
KR100657343B1 (ko) * 2005-10-19 2006-12-14 삼성전자주식회사 영상처리장치 및 방법
CN100366054C (zh) * 2005-11-30 2008-01-30 北京视信源科技发展有限公司 图像处理过程中的插值处理方法
US8396330B2 (en) * 2007-07-24 2013-03-12 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
CN100563295C (zh) * 2007-11-01 2009-11-25 四川虹微技术有限公司 一种基于线性插值运算中误差估计的图像放大方法
JP4629123B2 (ja) * 2008-03-31 2011-02-09 富士フイルム株式会社 エッジ検出方法および装置並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796087A (en) * 1986-05-29 1989-01-03 Jacques Guichard Process for coding by transformation for the transmission of picture signals
EP0301712A1 (en) * 1987-07-09 1989-02-01 BRITISH TELECOMMUNICATIONS public limited company Data encoding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2566061B2 (ja) * 1990-12-14 1996-12-25 ローム株式会社 エリアデータからパスデータへの変換方法
JP2720920B2 (ja) * 1991-03-11 1998-03-04 工業技術院長 画像処理システムにおける実写画像とコンピュータグラフィックスの合成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796087A (en) * 1986-05-29 1989-01-03 Jacques Guichard Process for coding by transformation for the transmission of picture signals
EP0301712A1 (en) * 1987-07-09 1989-02-01 BRITISH TELECOMMUNICATIONS public limited company Data encoding

Also Published As

Publication number Publication date
KR940019155A (ko) 1994-08-19
US5467439A (en) 1995-11-14
JPH06291988A (ja) 1994-10-18
DE4400645A1 (de) 1994-07-21
KR950006776B1 (ko) 1995-06-22
JP3591859B2 (ja) 2004-11-24
CN1094209A (zh) 1994-10-26

Similar Documents

Publication Publication Date Title
CN1036969C (zh) 数字图象数据的插值法及其电路
US9137424B2 (en) Method for flicker detection in image signal
KR100750176B1 (ko) 초정밀화를 이용한 양자화 아티팩트 제거 방법 및 시스템
CN1248160C (zh) 用于边缘检测的方法和设备
JP2005332130A (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7447383B2 (en) Directional interpolation method using frequency information and related device
JP2009521181A (ja) デジタルシネマ用のブラインド検知
US6876778B2 (en) Edge enhancement method and apparatus in digital image scalar-up circuit
JP2008053875A (ja) 画像処理装置および方法、プログラム、並びにプログラム格納媒体
CN111257346B (zh) 基于投影过滤的pcb定位装置及方法
CN109175718B (zh) 一种基于半色调技术的图片激光雕刻方法
CN1365568A (zh) N-维滤波原始图象像素的n-维滤波器和方法
CN1636393A (zh) 用于改进从sd到hdtv转换的方法和设备
KR20070098540A (ko) 서서히 변화하는 부분에 대한 재귀적 3d 초정밀화 방법
KR101509552B1 (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도
CN114827496A (zh) 一种动态坏点的处理方法和装置
KR19990062036A (ko) 미분 연산자를 사용한 에지 검출 방법
CN111429383A (zh) 图像降噪方法及装置、计算机可读存储介质
CN1221138C (zh) 一种图像合成处理方法
CN101729882B (zh) 低角度内插装置及其方法
JP2005303705A (ja) 画像処理装置および方法
CN1225717C (zh) 纹理映射方法
CN117237231B (zh) 一种防止显示屏画面模糊的渐变调整方法及系统
Eerenberg et al. Block-based detection systems for visual artifact location
Venkatesan et al. Video deinterlacing with control grid interpolation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 19980107

Termination date: 20110113