CN1180633C - 视频数据处理设备和视频数据处理方法 - Google Patents

视频数据处理设备和视频数据处理方法 Download PDF

Info

Publication number
CN1180633C
CN1180633C CNB011211741A CN01121174A CN1180633C CN 1180633 C CN1180633 C CN 1180633C CN B011211741 A CNB011211741 A CN B011211741A CN 01121174 A CN01121174 A CN 01121174A CN 1180633 C CN1180633 C CN 1180633C
Authority
CN
China
Prior art keywords
video data
data
difference
complexity
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB011211741A
Other languages
English (en)
Other versions
CN1336765A (zh
Inventor
С�ֲ���
小林博
福田京子
冨田真巳
宫田胜成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1336765A publication Critical patent/CN1336765A/zh
Application granted granted Critical
Publication of CN1180633C publication Critical patent/CN1180633C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

通过按照本发明的视频数据处理设备和视频数据处理方法明显改善视频数据的图像质量。输入视频数据作为图像编码难易程度的函数在编码时由自适应滤波器35自适应滤波,并且经解码的视频数据作为图像编码难易程度的函数由自适应图像质量校正电路50自适应地补偿,以降低编码噪声并适当地校正该图像质量。

Description

视频数据处理设备和视频数据处理方法
技术领域
本发明涉及一种适合记录/再现装置使用的视频数据处理设备和视频数据处理方法,该记录/再现装置适于压缩编码输入视频数据并将其记录在光盘上。
背景技术
遵循MPEG(运动图像专家组)标准的压缩编码是公知的。使用遵循MPEG标准的压缩编码,通过在同一帧中使用数据的空间相关和在不同帧中使用数据的时间相关,减小所要处理的视频数据量。
因此,使用遵循MPEG标准的编码系统的记录/再现装置压缩编码输入视频数据以生成压缩编码的视频数据并将其记录在光盘上。对数据再现来说,该记录/再现装置从光盘上再现压缩编码的数据并扩展解码该数据以恢复原始的视频数据。用这种方法,记录/再现装置通过使用遵循MPEG标准的编码系统能够在光盘上有效地记录大量的视频数据。
一些以上描述的类型的记录/再现装置通过在压缩编码操作之前自适应地滤波要压缩编码的视频数据适应于一直输出预定量的被压缩编码的数据。更具体地说,在要压缩编码的视频数据的帧中,对那些时间相关较弱的在压缩编码处理之前要进行减小该帧的高频分量的操作,而对那些时间相关较强的,进行压缩编码而不需进行减小高频分量的操作。
因此,使用这样的记录/再现装置,如果因为时间帧内相关较低而预期被压缩编码的视频数据量会增加,则在压缩编码视频数据前减小高频分量的信息量以使得一直输出预定量的被压缩编码的数据,因为如果减小高频分量的信息量在观众看来图像质量并没有明显降低。
但是,如果提高图像压缩率,高频分量的量可以减小到这样一种程度,即观众能够识别再现的图像的清晰度的降低。在编码预处理或编码处理步骤中进行减小高频分量的量的操作。然后,在解码处理步骤后进行补偿高频分量的减小量的操作。
但是,当在压缩编码操作前要压缩编码的视频数据自适应地滤波时,滤波的程度可以依据被滤波的图像而变化。因此,如果在解码处理步骤后统一地进行补偿高频分量的减小量的操作,则一些要被补偿的图像可能会不能充分补偿。
发明内容
鉴于上述提出的问题,因此本发明的一个目的是提供一种与传统装置和方法相比,能够改善输出图像质量的视频数据处理设备和视频数据处理方法。
根据本发明,通过在编码时作为编码难易程度的函数自适应地滤波视频数据,并在解码处理步骤后作为视频数据编码难易程度的函数自适应地补偿视频数据以降低编码噪声和充分地校正图像质量来实现上述目的。
更具体地说,在本发明的一个方面中,提供了一种视频数据处理设备,包括:
编码难易程度计算装置,用于从输入视频数据计算编码难易程度;
滤波装置,根据从输入视频数据计算的编码难易程度自适应地滤波所述输入视频数据;
压缩编码装置,用于压缩编码输入和滤波的视频数据;
解码装置,用于解码经压缩编码的视频数据;
其中所述编码难易程度计算装置从所述被解码的视频数据计算编码难易程度;以及
所述视频数据处理设备还包括图像质量校正装置,用于根据从所述被解码的视频数据计算的编码难易程度自适应地校正所述被解码的视频数据的图像质量。
在本发明的另一方面中,提供了一种视频数据处理方法,包括以下步骤:
从输入视频数据计算编码难易程度;
根据从输入视频数据计算的编码难易程度自适应地滤波所述输入视频数据;
压缩编码输入和滤波的视频数据;
解码经压缩编码的视频数据;其中
从所述被解码的视频数据计算编码难易程度;以及
根据从所述被解码的视频数据计算的编码难易程度自适应地校正所述被解码的视频数据的图像质量。
因此,根据本发明,通过在编码时作为编码难易程度的函数自适应地滤波视频数据可以降低编码噪声,并且在解码处理步骤后作为视频数据编码难易程度的函数自适应地补偿视频数据可以充分校正图像质量。此外,通过自适应地滤波视频数据、使用整个图像的编码难易程度和每一所选局部图像的编码难易程度可以有效地减小信息量。
因此,根据本发明,提供了一种与传统的装置和方法相比能够改进输出图像质量的视频数据处理设备和视频数据处理方法。
附图说明
图1是通过应用本发明实现的记录/再现装置的示意性的方框图;
图2是设置在图1的记录/再现装置中的降噪电路的示意性的方框图;
图3是在图1的降噪电路中的运动补偿字段递归型降噪电路的示意性的方框图;
图4示意性地表示设置在图3的运动补偿字段递归型降噪电路中的V型滤波器的相位补偿的操作;
图5是在图2的所述的降噪电路中的编码难易计算电路的示意性的方框图;
图6示意性地表示图3所述的运动补偿字段递归型降噪电路的水平和垂直滤波操作;
图7示意性地表示图2的降噪电路的多路复用操作;
图8示意性地表示在图2所述的降噪电路的字段存储器(field memory)中写入数据的时序和从其读出数据的时序;
图9示意性地表示使用在图1的所述记录/再现装置中的自适应型预滤波器传递函数G的滤波操作;
图10示意性地表示使用在图1的所述记录/再现装置中的自适应型预滤波器传递函数H的滤波操作;
图11示意性地表示在图2所述的降噪电路的帧存储器中写入数据的时序和从其读出数据的时序;
图12示意性地表示能够用于本发明的目的的在滤波器系数和块编码难易程度之间的关系;
图13示意性地表示在用于选择所述滤波器系数的表和字段编码难易程度之间的关系;
图14是检测静止图像、检测场景变化和在计算每一字段的编码难易程度的过程中进行的时基滤波操作的处理操作的流程图;
图15是表示编码难易程度的衰减的变化的时序图;以及
图16是表示在处理场景变化操作后编码难易程度的变化的时序图。
具体实施方式
下面,参照表示本发明的优选实施例的附图对本发明进行描述。
本发明一般应用于具有图1的方框图所示的配置的记录/再现装置1。
参照图1,该记录/再现装置1被设计用于通过模拟/数字(A/D)转换电路2从外部接收NTSC(国家电视系统委员会)视频信号S1,然后将由A/D转换电路2的A/D转换得到的视频数据D2从A/D转换电路2发送到NTSC解码器3。NTSC解码器3将NTSC视频数据D2的亮度信号和色彩信号相互分离,并将包括相互分离的亮度信号和色彩信号的该视频数据D3发送到降噪电路4和场景变化检测电路5。
参照图2,降噪电路4包括运动补偿字段递归降噪电路6、编码难易程度计算电路7、多路复用器电路8和字段存储器9。降噪电路被设计为来自NTSC解码器3的视频数据D3被提供到运动补偿字段递归降噪电路6,而指示在视频数据D3中是否有可能通常出现在电影画面和电视剧中的场景变化的场景变化数据D26被提供到编码难易程度计算电路7。
下面,参照图3,视频数据D3被输入到运动补偿字段递归降噪电路6的减法器10和V型滤波器11。通过将来自降噪电路4(图2)的字段存储器9的视频数据D3延迟一个字段获得的字段延迟视频数据D5被输入到运动补偿字段递归降噪电路6的V型滤波器13。
V型滤波器11在垂直方向对相对于字段延迟视频D3的交错扫描系统的视频数据的相位执行补偿操作,并将得到的视频数据D6输出到运动补偿电路14。类似地,V型滤波器13在垂直方向对相对于字段延迟视频D5的交错扫描系统的视频数据的相位执行补偿操作,并将得到的视频数据D7输出到运动补偿电路14。
更具体地说,参照图4,根据在水平方向具有相同相位并位于相邻偶数线上的视频数据D3的偶数字段的2个像素值,V型滤波器11通过在垂直方向将每一像素的相位分为预定的比率(如3∶1)获得的像素计算像素值。同时,根据在水平方向具有相同相位并位于相邻奇数线上的视频数据D5的奇数字段的2个像素值,V型滤波器13通过在垂直方向将每一像素的相位分为预定的比率(如1∶3)获得的像素计算像素值。由于相位补偿,使得视频D3的字段延迟视频数据D5的相位在垂直方向上相互一致。
反过来参照图3,当相关程度计算装置首先将视频数据D6分为预定大小的块时运动补偿电路14进行操作。接着,运动补偿电路14提取一个块作为基准块并检测在字段延迟视频数据D7的预定检索区中找到的多个候选块中与该基准块最相似的相似候选块。然后它确定基准块和检测到的相似候选块的差作为噪声。接下来,运动补偿电路14确定相似候选块和在视频数据D6中的剩余块中的每一个之间的差,并将获得的数据发送到哈达玛(Hadamard)变换电路15和编码程度难易计算电路7(图2)作为运动补偿剩余差数据D8。
哈达玛变换电路15将从运动补偿电路14发送的运动补偿剩余差数据D8分为例如8个水平频率分量,并将每一水平频率分量的运动补偿剩余差数据D9发送到非线性电路16。非线性电路16包括非线性限幅器电路。其通过自适应地改变要施加到水平频率分量的运动补偿剩余差数据D9的每一限幅器的值并对运动补偿剩余差数据D9的上限值限幅生成每一水平频率分量的噪声数据D10,并将得到数据发送到哈达玛反变换电路17。因此,如果在低频段发现水平频率分量,则对运动补偿剩余差数据D9选择高限幅值,因为该数据可能产生可察觉的噪声,而如果在高频段发现水平频率分量,则对运动补偿剩余差数据D9选择低限幅值,因为该数据可能仅产生不明显的噪声。
哈达玛反变换电路17在时基上将每一水平频率分量的噪声数据D10变换为噪声数据D11,并将其发送到减法器10。减法器10通过将从NTSC解码器3(图1)减去噪声数据D11生成在不同字段中不涉及时间相关的降噪的视频数据D12,并将得到的数据发送到多路复用电路8(图2)。
通过这种方法运动补偿字段递归型降噪电路6事先降低了视频数据D3中的噪声从而减小造成块边界不连续的块失真和出现在边缘周围的连接微小噪声(mosquito noise)。
如图5所示,编码难易程度计算电路7将从运动补偿字段递归型降噪电路6(图2)提供的运动补偿剩余差数据D8输入到相加/平均电路28。相加/平均电路28将一个字段的运动补偿剩余差数据D8相加以获得每一字段的字段编码难易程度数据D29。接着,将所获得的每一字段的字段编码难易程度数据D29输入到时间滤波电路29用于将在时基上进行的滤波操作。提供使用公式(1)的传递函数F在时基上进行滤波操作以生成字段编码难易程度数据D29。
F=(1-K)/(1-K×Z-F)                   (1)
其中K是值为0<K<1的常值,并用于确定滤波器的时间常数,Z-F代表字段延迟。
运动补偿剩余差数据D8也被提供到H块滤波电路21。如图6(A)所示,H块滤波电路21对运动补偿剩余差数据D8的块数据dmc「m,n」的每一块执行如下述公式(2)表示的块内滤波操作以产生包含水平平滑的块数据dmc_hfil「m,n」的运动补偿剩余差数据D15,并将其发送到V块滤波器电路22和多路复用器多路23。
Figure C0112117400101
其中m代表每一块的水平地址,n代表每一块垂直地址。
如图6(B)所示,V块滤波电路22使用包含在从串行/并行转换电路24反馈的运动补偿剩余差多路复用数据D16中的块数据dmc_hfil「m,n-1」对从H块滤波电路21反馈的运动补偿剩余差数据D15的块数据dmc_hfil「m,n」的每一块执行如下述公式(3)表示的垂直块内滤波操作,以产生包含如下述公式(4)表示的垂直平滑的块数据dmc_hvfil「m,n」的运动补偿剩余差数据D17,并将其发送到多路复用器电路23。
Figure C0112117400103
因此,如图6(C)所示,通过空间地平滑运动补偿剩余差数据D8的每一块数据dmc「m,n」获得运动补偿剩余差数据D17。
下面,参照图7,多路复用电路23对每一块多路复用水平平滑的运动补偿剩余差数据D15以及水平和垂直平滑的运动补偿剩余差数据D17,并发送由多路复用串行/并行转换电路25得到的运动补偿剩余差数据D18。串行/并行转换电路25对4位多路复用的运动补偿剩余差数据执行串行/并行转换的操作,并将获得的1位多路复用的运动补偿剩余差数据D19发送到选择电路26。
选择电路26转换从串行/并行转换电路25反馈的多路复用的运动补偿剩余差数据D19和从存储器27读取的多路复用的运动补偿剩余差数据D20,并将转换的数据中的任意一个发送到存储器27作为多路复用的运动补偿剩余差数据D21,使得存储器27存储所发送的运动补偿剩余差数据D21。接着,存储器27以预定的定时读取存储的多路复用的运动补偿剩余差数据D21,并将其发送到选择电路26和串行/并行转换电路24作为多路复用的运动补偿剩余差数据D20。串行/并行转换电路24对1位多路复用的运动补偿剩余差数据D21执行串行/并行转换,并将得到的4位多路复用的运动补偿剩余差数据D16发送到V块滤波电路22和时间滤波电路30。
时间滤波电路30作为相关平滑装置进行操作以将从串行/并行电路24反馈的运动补偿剩余差数据D16的水平和垂直平滑的运动补偿剩余差数据变为dfc_in,并将包括通过将从字段存储器9(图2)反馈的运动补偿剩余差数据dfc_in延迟一帧得到的运动补偿剩余差数据的字段延迟的编码难易程度数据D25变为运动补偿剩余差数据dfc_fd,并通过在时基上对输入到编码难易程度计算电路7的运动补偿剩余差数据D8进行水平和垂直滤波来对其进行平滑。得到的数据被定义作每一块的块编码难易数据程度。
更具体地说,时间滤波电路30根据水平和垂直平滑的运动补偿剩余差数据dfc_in和通过将运动补偿剩余差数据dfc_in延迟一个字段得到的运动补偿剩余差数据dfc_fd通过在时基上执行如公式(5)表示的滤波操作生成块编码难易数据程度tfil。
dif_fd=dfc_in-fdc_fd
adif_fd=abs(dif_fd)
case(s-dif-fd)
0:
if(adif_fd)>c_tmp_fil_h×2)
tfil=dfc_fd+c_tmp_fil_h
else
tfil = dfc _ in + dfc _ fd 2
1:
if(adif_fd)>c_tmp_fil_h×2)
tfil=dfc_fd-c_tmp_fil_l
else
tfil = dfc _ in + dfc _ fd 2 - - - ( 5 )
其中dif_fd代表运动补偿剩余差数据dfc_in和运动补偿剩余差数据dfc_fd之间的差数据,adif_fd代表差数据dif_fd的绝对值,s_dif_fd代表差数据dif_fd的码位,指示当s_dif_fd为0时差数据dif_fd为正,当s_dif_fd为1时差数据dif_fd为负,并且c_tmp_fil_h和c_tmp_fil_l代表各自的常数。
因此,当在预定的范围内发现水平和垂直平滑的运动补偿剩余差数据dfc_in的差数据dif_fd和通过将运动补偿剩余差数据dfc_in延迟一个字段得到的运动补偿剩余差数据dfc_fd时,时间滤波电路30选择对块编码难易程度数据tfil的运动补偿剩余差数据dfc_in和运动补偿剩余差数据dfc_fd的平均值,而当发现差数据dif_fd在预定的范围之外时,时间滤波电路30选择将预定的常数加到运动补偿剩余差数据dfc_fd或从运动补偿剩余差数据dfc_fd减去该预定的常数产生的结果作为块编码难易程度数据tfil。
指示在视频数据D3中是否有可能通常出现在电影画面和电视剧中的场景变化的场景变化数据D26通过场景变化检测电路5(图1)被反馈到块编码难易程度计算电路7(图2),并将所提供的场景变化数据D26输入到数据滤波电路30。如果当场景变化检测电路5检测到场景变化,其输出1作为场景变化数据D26,而在其它任何情况下输出0。
当将块编码难易程度数据tfil发送到移位寄存器31作为块编码难易程度数据D27时,时间滤波电路30在块编码难易程度数据D27的垂直消隐间隔根据时分发送场景变化数据D26。接着,移位寄存器31临时保持场景变化数据D26和块编码难易程度数据D27,并以预定的定时将其输出到降噪电路4的多路复用电路8。
当输出从运动补偿字段递归降噪电路6反馈的降噪的视频数据D12时,多路复用电路8通过在降噪的视频数据D12的水平消隐间隔中输出场景变化数据D26、块编码难易程度数据D27和字段编码难易程度数据D28,多路复用降噪的视频数据D12、场景变化数据D26、块编码难易程度数据D27和字段编码难易程度数据D28。接着,发送被多路复用的降噪的视频数据D12、场景变化数据D26、块编码难易程度数据D27和字段编码难易程度数据D28到字段存储器9并将其存储在字段存储器9。
字段存储器9将从NTSC解码器3反馈的视频数据D3延迟一个字段,并将字段延迟的视频数据D5发送到运动补偿字段递归降噪电路6和场景变化检测电路5。字段存储器9也将块编码难易程度数据D27延迟一个字段,并将发送到编码难易程度计算电路7。此外,字段存储器9将字段延迟的块编码难易程度数据D25、字段延迟的编码难易程度数据D28和场景变化数据D26发送到自适应预滤波器35(图1),并使得降噪的视频数据D12延迟一个字段。最后,字段存储器9将字段延迟的降噪视频数据D30发送到自适应预滤波器35。
在图8中,(A)至(H)表示将上述数据写入到字段存储器9和从字段存储器9读出上述数据的时序。
参照图8,(A)表示在字段存储器9中写入降噪的视频数据D12的时序,(B)表示在字段存储器9中写入块编码难易程度数据D27的时序,(C)表示在字段存储器9中写入字段编码难易程度数据D28的时序,(D)表示在字段存储器9中写入场景变化数据D26的时序。类似地,在图8中,(E)表示从字段存储器9中读出字段延迟的降噪的视频数据D12的时序,(F)表示从字段存储器9中读出字段延迟的编码难易程度数据D25的时序,(G)表示从字段存储器9中读出字段编码难易程度数据D28的时序,(H)表示从字段存储器9中读出场景变化数据D26的时序。
自适应预滤波器35根据字段延迟的块编码难易程度数据D25、字段编码难易程度数据D28和场景变化数据D26,通过使用如下述公式(6)表示的传递函数H对字段延迟的降噪视频数据D30执行自适应预滤波操作以减小字段延迟的降噪视频数据D30的信息量作为字段延迟的降噪视频数据D30的字段的数据相关的函数。接着,自适应预滤波器35将由上述操作获得的降噪视频数据D31发送到MPEG编码器36。
H=1-(1-G)×α
G=a×(a×Z-1+b+a×Z+1)×Z-H
+b×(a×Z-1+b+a×Z+1)
+a×(a×Z-1+b+a×Z+1)×Z+H                                     (6)
如图9所示,传递函数G适于执行用预定的系数乘以吸引注意的像素周围的像素值,并将获得的乘积加到吸引注意的像素值的加权操作。
在公式(6)中,滤波系数α是在根据字段延迟的块编码难易程度数据D25、字段编码难易程度数据D28和场景变化数据D26的值确定的0至1范围内的值。更具体地说,如果字段延迟的块编码难易程度数据D25和字段编码难易程度数据D28显示各自的不低于预定程度的值并且场景变化数据D26显示值为0,则对滤波系数α选择接近1的值,而如果字段延迟的块编码难易程度数据D25和字段编码难易程度数据D28显示各自的不高于预定程度的值并且场景变化数据D26显示值为0,则对滤波系数α选择值0。但是,如果场景变化数据D26的值等于1,则对滤波系数α强制选择值0而与字段延迟的块编码难易程度数据D25的值和字段编码难易程度数据D28的值无关。
图12示意性地表示能够用于本发明的目的的、在滤波器系数α和块编码难易程度数据D25之间的关系。换句话说,根据逐块获得的块编码难易程度数据的函数以图12所示的方式对滤波系数α进行控制。在图12中,对每一图像传输速率选择最优选择的表的表号(Tab.No.)作为如图13所示的字段编码难易程度数据D28的值的函数。例如,如果图像传输速率是4Mbps并且对每一字段获得的字段编码难易程度数据D28的值为14,则选择表号(Tab.No.)15。接着,根据选择的表号(Tab.No.)15,由对该场景的每一块的所获得的块编码难易程度数据D25对滤波系数α进行控制。
因此,如图10所示,自适应预滤波器35通过对一个显示低时间相关的字段和域的滤波系数选择接近1的值自适应地对字段延迟的降噪视频数据D30进行滤波,以减小该字段的高频分量的信息量,并通过对一个显示高时间相关字段和域的滤波系数选择接近0的值以减小该字段的高频分量的信息量。使用这种配置,将由下游MPEG编码器36接收的压缩视频数据D36的信息量保持在固定的水平。
因此,如果因为字段内时间相关低而期望增加压缩视频数据D36的信息量,则自适应预滤波器35在压缩编码字段延迟的降噪视频数据D30前减小高频分量的信息量,以将压缩视频数据D36的信息量保持在固定的水平,并且如果该高频分量的信息量被减小的话,在观众看来其不会明显降低图像质量。
此时,自适应预滤波器35对与显示图像变化的字段或其前面的字段没有任何时间相关的字段的滤波系数α强制选择0,使得可以省去没有信息的字段。因此,当由自适应预滤波器35产生压缩编码和扩展编码降噪视频数据D31时记录/再现装置1不会降低紧跟在场景变化之后的任何视频数据。
MPEG编码器36根据DCT(离散余弦变换)编码系统对降噪视频数据D31执行压缩编码操作以将包括诸如为加到视频数据的量化比例之类的编码信息的压缩编码的数据D32发送到ECC(纠错电路)编码器37。
ECC编码器37将纠错码加到压缩视频数据D32,并将包括该纠错码的该压缩视频数据D33发送到8-14调制电路38。8-14调制电路38根据预定的8-14调制系统调制压缩视频数据D33,并将得到的压缩视频数据D34发送到RF放大器39。RF放大器39将压缩视频数据D34放大到预定程度。接着,通过光拾取器40将获得的压缩视频数据D35记录在光盘41上。
对数据再现操作,记录/再现装置1通过光拾取器40从光盘41再现压缩视频数据D40,并将其发送到RF放大器45。RF放大器45将压缩视频数据D40放大到预定的程度,并将得到的压缩视频数据D41发送到8-14解调电路46。8-14解调电路46根据预定的8-14解调系统解调压缩视频数据D41,并将得到的压缩视频数据D41发送到ECC解码器47。
ECC解码器47使用由ECC编码器37加入的纠错码D43执行纠错操作,并且获得的压缩视频数据被发送到MPEG解码器48。MPEG解码器48对压缩视频数据D43执行扩展解码操作以恢复原始的视频数据D44,并将恢复的视频数据D44发送到降噪电路49。此时,MPEG解码器48提取诸如量化比例之类的编码数据D45并且也将提取的编码数据D45发送到降噪电路49。
降噪电路49使用编码信息D45通过对视频数据D44执行滤波操作减小在视频数据D44中产生的块失真和微小噪声,并将获得的视频数据D46发送到自适应图像质量校正电路50。与记录系统的降噪电路4类似,再现系统的降噪电路49通过计算对每一块确定字段编码难易程度数据D50,并且也对每一字段确定字段编码难易程度数据D51,并将其发送到自适应图像质量校正电路50。
根据字段编码难易程度数据D50和字段编码难易程度数据D5 1,自适应图像质量校正电路50使用由公式(7)表示的传递函数H对视频数据D46自适应地执行图像质量校正操作。
H=1-(1-G)×α
G=a×(a×Z-1+b+a×Z+1)×Z-H
+b×(a×Z-1+b+a×Z+1)
+a×(a×Z-1+b+a×Z+1)×Z+H                                  (7)
如图12和13所示的记录系统的滤波系数α和块编码难易程度之间的关系也适用于再现系统。因此,滤波系数α以图12所示的方式由获得的块编码难易程度数据的值控制。在图12中,对每一图像传输速率选择最优选择的表的表号(Tab.No.)作为如图13所示的字段编码难易程度数据D28的值的函数。例如,如果图像传输速率是4Mbps并且对每一字段获得的字段编码难易程度数据D51的值为14,则选择表号(Tab.No.)15。接着,根据选择的表号(Tab.No.)15,由对该场景的每一块的所获得的块编码难易程度数据D50对滤波系数α进行控制。注意如图12和13所示在再现系统中使用的表可以与记录系统使用的表特征不同而不会有任何问题。此外,在图像质量操作中使用的用于控制编码难易程度的参数不限于滤波系数α,并且滤波器的频率特征和/或核心环电平(core ring level)也可以被用作附加参数。
自适应图像质量校正电路50将由自适应图像质量校正操作获得的视频数据D47发送到NTSC编码器51。NTSC解码器51将视频数据D47转换为视频数据D48,并将获得的NTSC视频数据D48发送到数字/模拟(D/A)转换电路52。D/A转换电路52对NTSC视频数据D48执行数/模转换,并将获得的视频信号S49发送到外部。
参照图1,操作输入部分55由包括一个用于选择是否执行减小块失真的操作的开关和一个用于控制图像校正操作的开关的多个开关构成,并适于响应对用户部分的输入操作生成输入数据D55,并将生成的输入数据D55发送到控制电路56。该控制电路根据从操作输入部分55反馈的输入数据D55生成控制数据D56,并将生成的控制数据D56发送到降噪电路49和图像质量校正电路50以控制降噪电路49的操作和图像质量校正电路50的操作。
使用上述配置,场景变换检测电路5通过分析视频数据D3和由将视频数据D3延迟一个字段获得的字段延迟视频数据D5之间的相关,检测包含在从NTSC解码器3反馈的视频数据D3中的场景变化,并将指示是否有场景包含的场景包含数据D26发送到自适应预滤波器35。
降噪电路4分析视频数据D3和字段延迟视频数据D5之间的相关,并生成运动补偿剩余差数据D8。接下来,降噪电路4在时基上水平和垂直地平滑生成的运动补偿剩余差数据D8以生成字段编码难易程度数据D25,并将生成的数据发送到自适应预滤波器35。
根据反馈到该电路的字段延迟的编码难易程度数据D25和场景变化数据26,自适应预滤波器35通过提高用于从上一字段的字段图像显示低相关的每一字段图像中去除不必要的频率分量的带限程度,和降低用于从与上一字段的字段图像显示高相关的每一字段图像中去除不必要的频率分量的带限程度,但因为场景变化在从降噪电路4反馈的字段延迟的降噪视频数据D30的字段图像之外而强制减小显示与上一字段的字段图像无相关的每一字段图像的带限程度,减小构成字段延迟的降噪视频数据D30的每一字段图像的信息量。
虽通过使用字段存储器9对上述实施例读取要反馈到场景变化检测电路5、运动补偿字段递归降噪电路6、编码难易程度计算电路7和自适应预滤波器35的数据的时序进行描述,但本发明决非局限于此,读取要反馈到上述每一个电路的数据的时序可以选择由帧存储器来控制。
在图11中,(A)至(H)表示在帧存储器中写入上述数据的时序和从其读出数据的时序。参照图11,(A)表示在帧存储器9中写入降噪的视频数据D12的时序,(B)表示在帧存储器中写入块编码难易程度数据D27的时序,(C)表示在帧存储器中写入帧编码难易程度数据D28的时序,(D)表示在帧存储器中写入场景变化数据D26的时序。类似地,在图11中,(E)表示从帧存储器中读出帧延迟的降噪的视频数据D12的时序,(F)表示从帧存储器中读出帧延迟的编码难易程度数据D25的时序,而(G)表示从帧存储器中读出帧延迟的编码难易程度数据的时序,(H)表示从帧存储器中读出场景变化数据D26的时序。
虽然在上述实施例中编码难易程度数据是从运动补偿剩余差数据计算得到的,但可以选择地通过确定相邻块的向量差值和合成向量的差和运动补偿剩余差来计算编码难易程度数据。
此外,虽然降噪电路、自适应预滤波电路和自适应图像质量校正电路在上述实施例的记录系统和再现系统中独立提供的,但如果记录(编码)操作和再现(解码)操作不同时进行,相同的电路可以用于上述两个系统。
此外,虽然在上述描述中将本发明的上述实施例应用到记录/再现装置1,但本发明并不局限于此,本发明可以等同地应用被设计用于自适应地滤波要压缩编码的视频数据并在扩展解码该视频数据后对该图像数据执行适合的图像质量校正操作的视频数据处理装置。
下面,参照图14、15和16对用于本发明目的的、在滤波操作前在时基上对每一字段计算编码难易程度Kp_Fi的处理中检测静止图像和场景变化的操作进行描述。
首先在步骤S1,确定输入图像是否是静止图像。当编码难易程度Kp_Fi对多个字段保持相同或类似的值时,确定输入图像为静止图像。
如果在步骤S1中确定输入图像是静止图像,则操作前进到步骤S2,其中例如为2的常数被加到编码难易程度的衰减值d上。另一方面,如果在步骤S1确定输入图像不是静止图像,操作前进到步骤S3,其中从编码难易程度的衰减值d中减去常数2。
图15表示该操作的时序流程图。参照图15,当编码难易程度Kp_Fi对连续16个字段的每一字段保持相同时确定输入图像为静止图像。如果从字段号「n+1」到字段号「n+23」静止图像连续,则从字段号「n+16」将常数2加到编码难易程度的衰减值d。如果为了简化,假设编码难易程度Kp_Fi「0」恒等于10,则编码难易程度的衰减值d从字段号「n+20」到字段号「n+23」为10。如果确定输入图像从字段号「n+24」不再为静止图像,则将从中倒计编码难易程度的衰减值d。
在步骤S4,对每一字段从编码难易程度Kp_Fi中减去编码难易程度的衰减值d。
接着,在步骤S5和S6,对在步骤S4中相减的结果Kp_Fi_stl进行限制以使其不为负值。更具体地说,在步骤S5中确定如果相减的结果Kp_Fi_stl「0」小于0,则在步骤S6中使Kp_Fi_stl「0」=0并且d=Kp_Fi「0」为保持真。同时也在步骤S5中确定相减的结果Kp_Fi_stl「0」是否大于编码难易程度Kp_Fi「0」,如果相减的结果Kp_Fi_stl「0」大于编码难易程度Kp_Fi「0」,则在步骤S6中使Kp_Fi_stl「0」=Kp_Fi「0」和d=0为保持真。
接着,在步骤S7中,确定场景变化点是否存在。对在场景变化点后的字段用于指示场景变化点判断结果的标志xsc「0」降为低电平。接着,通过前一字段的标志xsc「F」和当前字段前2个字段的标志xsc「2F」的逻辑乘操作在时基上扩展标志xsc「0」,并且产生场景变化信号标志xsc「0」&xsc「F」&xsc「2F」以指示该场景变化点后的3个字段保持低电平。
如果场景变化信号标志xsc「0」&xsc「F」&xsc「2F」处于低电平并且由此在步骤S7中判断结果为是,则执行对场景变化的处理操作,并且在步骤S8中保持前一帧的场景变化编码难易程度Kp_Fi_sc「F」。另一方面。如果场景变化信号标志xsc「0」&xsc「F」&xsc「2F」处于高电平并且由此在步骤S7中判断结果为否,则操作前进到步骤S9,其中使在静止图像处理操作后的编码难易程度Kp_Fi_stl「0」等于在场景变化处理操作后的编码难易程度Kp_Fi_st「0」。
接着,在步骤S10,通过使用上述的编码难易程度Kp_Fi_st「0」、Kp_Fi_sc「F」和公式(1)的传递函数F在时基上进行滤波操作。
虽然图12和图13表示实时传输的示例,其中自适应处理操作是作为图像传输速率的函数进行的,无需赘言,该自适应处理操作可以作为图像压缩速率的函数自适应地进行,因为图像传输速率和图像压缩速率显示不变的关系。
在非实时传输的情况下,自适应控制操作将作为图像压缩速率的函数而不是图像传输速率的函数来进行。
例如,图1的记录/再现装置1对光盘使用光盘驱动器。非实时传输的一个示例可以是这样一种情况,其中使用了硬盘驱动器,并且MPEG解码器的MPEG压缩比率和MPEG解码器与硬盘的记录/再现速率不同。接着,由MPEG解码器、调制电路、解调电路和在MPEG中的缓冲存储器吸收压缩比率和记录/再现速率之间的差。如果是这种情况,可以以这种方法修改该配置,即通过数字传输系统将硬盘单元和MPEG编码器以及MPEG解码器相连或由半导体存储器替代该硬盘单元。

Claims (20)

1.一种视频数据处理设备,包括:
编码难易程度计算装置,用于从输入视频数据计算编码难易程度;
滤波装置,根据从所述输入视频数据计算的编码难易程度自适应地滤波所述输入视频数据;
压缩编码装置,用于压缩编码被输入和滤波的视频数据;
解码装置,用于解码经压缩编码的视频数据,
其特征在于:
所述编码难易程度计算装置从被解码的视频数据计算编码难易程度;以及
所述视频数据处理设备还包括图像质量校正装置,用于根据从所述被解码的视频数据计算的编码难易程度自适应地校正所述被解码的视频数据的图像质量。
2.根据权利要求1的视频数据处理设备,其中所述编码难易程度计算装置包括用于计算运动补偿剩余差的运动补偿剩余差计算装置,并根据由所述运动补偿剩余差计算装置计算的运动补偿剩余差计算编码难易程度。
3.根据权利要求1的视频数据处理设备,其中所述编码难易程度计算装置包括用于计算相邻块中的运动向量的差的运动向量差计算装置,并根据由所述运动向量差计算装置计算的运动向量差计算编码难易程度。
4.根据权利要求1的视频数据处理设备,其中所述编码难易程度计算装置包括用于计算运动补偿剩余差的运动补偿剩余差计算装置和用于计算相邻块中的运动向量的差的运动向量差计算装置,并根据由所述运动补偿剩余差计算装置计算的运动补偿剩余差和由所述运动向量差计算装置计算的运动向量差计算编码难易程度。
5.根据权利要求2的视频数据处理设备,其中所述运动补偿剩余差计算装置逐块地计算运动补偿剩余差。
6.根据权利要求2的视频数据处理设备,其中所述运动补偿剩余差计算装置逐场景地计算运动补偿剩余差。
7.按照权利要求2的视频数据处理设备,其中所述运动补偿剩余差计算装置包括用于逐块地计算运动补偿剩余差的装置和逐场景地计算运动补偿剩余差的装置。
8.根据权利要求3的视频数据处理设备,其中所述运动向量差计算装置逐块地计算运动向量差。
9.根据权利要求3的视频数据处理设备,其中所述运动向量差计算装置逐场景地计算运动向量差。
10.根据权利要求3的视频数据处理设备,其中所述运动向量差计算装置包括用于逐块地计算运动向量差的装置和逐场景地计算运动向量差的装置。
11.根据权利要求1的视频数据处理设备,其中所述滤波装置根据编码压缩比率和从所述输入视频数据计算出的编码难易程度自适应地执行滤波操作。
12.根据权利要求1的视频数据处理设备,还包括:
用于通过记录介质记录/再现经压缩编码的视频数据的记录/再现装置,其中所述解码装置
适于解码通过所述记录/再现装置从所述记录介质再现的经压缩编码的视频数据。
13.根据权利要求1的视频数据处理设备,其中所述滤波装置还根据一压缩比率自适应地滤波所述输入视频数据,以及所述图像质量校正装置还根据该压缩比率自适应地校正所述被解码的视频数据的图像质量。
14.一种视频数据处理方法,包括:
计算步骤,从输入视频数据计算编码难易程度;
滤波步骤,根据从所述输入视频数据计算的编码难易程度自适应地滤波所述输入视频数据;
压缩编码步骤,压缩编码该输入和滤波的视频数据;
解码步骤,解码经压缩编码的视频数据,
其特征在于:
在所述计算步骤中,从被解码的视频数据计算编码难易程度;和所述方法还包括:
校正步骤,根据从所述被解码的视频数据计算的编码难易程度自适应地校正所述被解码的视频数据的图像质量。
15.根据权利要求14的视频数据处理方法,其中在所述计算步骤中计算运动补偿剩余差,并根据计算出的运动补偿剩余差计算编码难易程度。
16.根据权利要求14的视频数据处理方法,其中在所述计算步骤中计算在相邻块中的运动向量差,并根据计算出的运动向量差计算编码难易程度。
17.根据权利要求14的视频数据处理方法,其中在所述计算步骤中计算运动补偿剩余差和在相邻块中的运动向量差,并根据所计算出的运动补偿剩余差和所计算出的运动向量差计算编码难易程度。
18.根据权利要求14的视频数据处理方法,其中在所述滤波步骤根据编码压缩比率和从所述输入视频数据计算出的编码难易程度自适应地执行滤波操作。
19.根据权利要求14的视频数据处理方法,还包括:
通过记录介质记录/再现经压缩编码的视频数据的步骤;和
解码通过记录/再现装置在所述记录/再现步骤从所述记录介质再现的经压缩编码的视频数据。
20.根据权利要求14的视频数据处理方法,其中
在所述滤波步骤,还根据一压缩比率自适应地滤波所述输入视频数据,以及在所述校正步骤,还根据该压缩比率自适应地校正所述被解码的视频数据的图像质量。
CNB011211741A 2000-06-13 2001-06-11 视频数据处理设备和视频数据处理方法 Expired - Fee Related CN1180633C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000177647 2000-06-13
JP177647/2000 2000-06-13
JP208936/2000 2000-07-10
JP2000208936A JP2002077917A (ja) 2000-06-13 2000-07-10 画像データ処理装置及び画像データ処理方法

Publications (2)

Publication Number Publication Date
CN1336765A CN1336765A (zh) 2002-02-20
CN1180633C true CN1180633C (zh) 2004-12-15

Family

ID=26593880

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011211741A Expired - Fee Related CN1180633C (zh) 2000-06-13 2001-06-11 视频数据处理设备和视频数据处理方法

Country Status (4)

Country Link
US (1) US6904096B2 (zh)
JP (1) JP2002077917A (zh)
KR (1) KR100823371B1 (zh)
CN (1) CN1180633C (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3789836B2 (ja) * 2002-03-19 2006-06-28 三洋電機株式会社 画像符号化装置および方法
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
JP2005026747A (ja) * 2003-06-30 2005-01-27 Matsushita Electric Ind Co Ltd フィルタ処理装置、画像符号化装置及び方法
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
US7865035B2 (en) * 2005-10-06 2011-01-04 Samsung Electronics Co., Ltd. Video quality adaptive coding artifact reduction
FR2898757A1 (fr) * 2006-03-14 2007-09-21 Canon Kk Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
JP5055078B2 (ja) * 2007-10-01 2012-10-24 キヤノン株式会社 画像処理装置及びその方法
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8792564B2 (en) * 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
JP2012510202A (ja) * 2008-11-25 2012-04-26 トムソン ライセンシング ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
TWI415479B (zh) * 2010-01-27 2013-11-11 Sunplus Technology Co Ltd Cvbs信號的解碼及反交錯系統及方法
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JP2014075708A (ja) * 2012-10-04 2014-04-24 Canon Inc 動画像符号化装置及び動画像符号化方法
US9924200B2 (en) 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
US9252823B2 (en) * 2013-08-06 2016-02-02 Purdue Research Foundation Phase compensation filtering for multipath wireless systems
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0113514B1 (en) * 1982-11-30 1988-05-11 BRITISH TELECOMMUNICATIONS public limited company Television signal transmission
JPH07121120B2 (ja) * 1990-03-19 1995-12-20 日本ビクター株式会社 データ圧縮装置
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
KR100229795B1 (ko) * 1996-08-30 1999-11-15 전주범 개선된 영상 복호화 시스템
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP3611461B2 (ja) * 1998-10-06 2005-01-19 松下電器産業株式会社 映像信号符号化装置

Also Published As

Publication number Publication date
KR100823371B1 (ko) 2008-04-18
US20020097335A1 (en) 2002-07-25
JP2002077917A (ja) 2002-03-15
KR20010112626A (ko) 2001-12-20
CN1336765A (zh) 2002-02-20
US6904096B2 (en) 2005-06-07

Similar Documents

Publication Publication Date Title
CN1180633C (zh) 视频数据处理设备和视频数据处理方法
CN1233172C (zh) 数据块噪声检测装置及数据块噪声消除装置
CN1135708C (zh) 图像信号处理系统及方法,解码器及解码方法
CN1178528C (zh) 数字信号记录方法和装置和数字信号再现方法和装置
CN1089982C (zh) 用于图象编码及记录/再现的装置及方法
CN1044064C (zh) 图象信号编码与解码方法以及图象信号编码与解码装置
CN1130918C (zh) 图像信号处理方法及装置
CN1224254C (zh) 图象信息记录设备和图象信息记录方法
CN101325718B (zh) 图像处理装置和方法
CN1151652A (zh) 多种传输、记录并控制图像数据显示的装置和方法及记录介质
CN1148953C (zh) 递归噪声减小器
CN1143301C (zh) 视频数据记录设备、重放设备、录放设备,和相应的方法
CN1133532A (zh) 数字记录和重放装置
US8139648B2 (en) Image processing apparatus and image processing method
US8681877B2 (en) Decoding apparatus, decoding control apparatus, decoding method, and program
CN1713710A (zh) 图像处理装置和图像处理方法
CN101969557B (zh) 图像记录设备、图像记录方法
CN1798348A (zh) 个人视频记录器系统以及在系统中再现广播信号的方法
CN1249623A (zh) 运动图象记录/再现装置
CN1129381A (zh) 数字录像机的比特流分配和恢复方法及压缩/解压缩装置
CN1115542A (zh) 信号记录装置和信号重放装置
CN1668098A (zh) 具有分离亮度和色彩分量功能的光学记录/再现设备
JP3127629B2 (ja) ディジタル画像信号のエラー修整装置
JPH06216784A (ja) ディジタル信号の量子化器
JP2008160724A (ja) 映像信号処理装置及び映像信号処理方法並びに放送受信装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041215

Termination date: 20120611