CN1224979A - 为图像序列编码和译码的方法及装置 - Google Patents

为图像序列编码和译码的方法及装置 Download PDF

Info

Publication number
CN1224979A
CN1224979A CN98122622A CN98122622A CN1224979A CN 1224979 A CN1224979 A CN 1224979A CN 98122622 A CN98122622 A CN 98122622A CN 98122622 A CN98122622 A CN 98122622A CN 1224979 A CN1224979 A CN 1224979A
Authority
CN
China
Prior art keywords
difference
video data
image
coefficient
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98122622A
Other languages
English (en)
Other versions
CN1174636C (zh
Inventor
德克·阿道夫
迈诺尔夫·布拉瓦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of CN1224979A publication Critical patent/CN1224979A/zh
Application granted granted Critical
Publication of CN1174636C publication Critical patent/CN1174636C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在运动图像序列数据压缩中采用运动补偿的混合编译码器。通过有规律插入帧内编码图像,可访问整个比特流中任何所需各图像或者从任何预定位置重放比特流。在一反馈环中,编译码器通常包含接收机端译码器的模拟,这样编码器也考虑其编码误差。按本发明,在反馈环中插入一衰减元件。对帧内编码图像的编码和接收机端译码变为多余。在接收机端对将灰度图像作为起始图像的几个图像译码后,观众觉察不到用公知方法编码和按本发明编码图像序列间的差别。

Description

为图像序列编码和译码的方法及装置
本发明涉及到为图像序列编码和译码的一种方法及装置。
在诸如MPEG1或者MPEG2等标准的运动图像序列的数据压缩中采用了流行的运动补偿的混合编译码器(内含模拟译码器的编码器)。借助于有规律地插入帧内编码的图像(I帧)，这些压缩方法实际上能够从任何预定的位置上存取整个比特流或者重放比特流中的任何所需的各个图像。帧内编码的图像本身可以根据相关的数据完成独立的译码，在重建的过程中不需要从其他图像获取任何数据。与此相反，帧间编码的图像(P帧)自身不能完成译码，在重建的过程中必须要有至少一个参考图像。这种参考图像(基础帧)必须是事先已经被译码的图像。
借助于在视频比特流中插入帧内编码的图像，可以从这样一个帧内编码的图像开始对图像序列中的每一个图像译码，并不需要对整个图像序列的视频比特流进行译码。可以直接对每个帧内编码的图像译码，通过对按时间顺序最靠近的前一的帧内编码的图像译码并接着对图像序列译码，可以对每个帧内编码的图像进行译码，直到所需的帧内编码的目标图像为止。
这种方法的一个缺点是帧内编码图像所需的比特支出量高。在典型的MPEG2格式(M=3；N=12)下，帧内编码图像I所需的比特与单一正向预测的帧间编码图像P所需的比特之间的比例因子大约是10∶1。在这种情况下，N是一个帧内编码图像与下一个相隔的间隔，M是一个I图像与后面的P图像相隔的间隔，反过来也是一样，它也是一个P图像和下一个P图像相隔的间隔。B图像可以放在中间，例如是一种双向预测的B图像。
本发明的目的是提供一种对图像序列编码和译码的方法，其中可以省去这种I图像或者与其有关的频繁传输，但是仍然可以从图像序列中实际上的任何预定位置开始进行译码。这一目的是通过权利要求1和5的方法来实现的。
本发明的另一目的是提供一种采用本发明的方法对图像序列编码和译码的装置。该目的是通过权利要求8和9的装置实现的。
如上所述，一个编译码器通常包含一个接收机端译码器的模拟。因此，编码器也可以注意到其中的编码错误。这种译码器模拟通常被设置在混合编译码器的反馈环中。由于本发明在这种反馈环中插入衰减元件，帧内编码I图像的插入、编码和接收机端的译码就变得不必要了。衰减元件的作用是降低预测系数的幅值。本发明是在混合编译码器的反馈路径中进行衰减，因而最初会在预测中产生人为的实际上不期望的劣化，并且导致有待编码的预测误差增加。然而，如果能适当地选择在反馈路径中插入的衰减量，就可能获得完全不需要使用帧内编码图像的惊人效果，因此不会损失能够在实际上任何预定位置对视频比特流译码的特性。
在比特流或者图像序列中的任何预定位置开始的接收机端译码是这样进行的：将一个灰度图像最好是平均亮度的灰度图像当作第一预测图像或者参考图像。将在接收机中译码的第一预测误差信号与这一灰度图像加以组合。然后用公知的方法对后续的帧内编码图像译码。由于在编码器中插入了衰减元件，在对后续图像进行译码时，在开始时以这种方式产生的接收机端的重建误差由于使用了衰减元件而是逐渐减少的，由编码器来降低的误差也已在编码器一端用译码器的功能模拟人为引入。
本发明的效果是，在接收机端对L个图像进行译码之后，至少在一个比较长的时间周期中，观众不会觉察到在比较短的间隔中用公知方法编码并且包含I图像的图像序列和按照本发明进行编码并且不包含I图像的图像序列之间的差别。在P图像之间可以设置B图像。从一方面来看，这些B图像的效果是不会使误差扩散，但是另一方面也不会减少视觉上的重建误差。
这样，在对L个图像进行译码之后，甚至在事先仅对很少的图像译码的情况下，接收机端的视频译码器可以显示译码的图像。
参数L的值取决于编译码器的反馈路径中衰减元件的衰减值D，并且决定了由此产生的比特率。当L很小时，衰减值D很大，并且接收机端译码误差的收敛较快，但是比特率会增大。当L很大时，衰减值D很小，并且接收机端译码误差的收敛较慢，而比特率则较小。
从理论上来说，本发明的图像序列编码方法实际上是对由关于图像序列像素值的差值形成的经过转换的视频数据系数执行熵编码，对转换的视频数据系数执行逆变换，并且用来以预测形式形成关于像素值的差值，另外，在形成差值之前对预测像素值的幅值进行衰减。
从理论上来说，按照本发明，对由关于图像序列像素值的差值形成的经过转换和编码的视频数据系数的图像序列进行译码的方法实际上是对熵译码的、经转换的视频数据因子进行逆变换，并且按照预测的形式与差值进行组合，用来决定转换和编码视频数据系数的差值是根据预测的像素值获得的，对像素值的幅值进行衰减，并且在开始译码时将逆变换的视频数据系数和一个灰度图像加以组合。
在有关的从属权利要求中提出了本发明方法的进一步扩展。
从理论上来说，本发明的图像序列编码装置包括：
-根据像素值来形成关于图像序列的差值的装置，将图像序列的输入数据提供给该装置；
-用来形成转换的视频数据系数的装置，该系数是从差值导出的；
-对转换的视频数据系数进行熵编码的一个熵编码器；
-用来形成逆变换视频数据系数的装置，该系数是从转换的视频数据系数导出的；
-用来形成预测像素值的装置，其输出信号被用来形成差值，在使用预测的像素值形成差值之前用一个衰减装置来衰减预测的像素值。
从理论上来说，本发明的图像序列译码装置包括：
-用来对转换的视频数据系数译码的熵译码器；
-用来形成逆变换的译码的视频数据系数的装置，该系数中包含像素值的差值；
-用来形成预测像素值的装置，其输出信号与差值加以组合，并且构成译码的图像序列，其中差值是从预测的像素值导出的，在编码器一端衰减像素值的幅值，以及在开始译码时，在一个合成装置中将逆变换的视频数据系数和一个灰度图像加以组合。
在有关的从属权利要求中提出了本发明装置的进一步扩展。
以下要参照附图说明本发明的示范实施例，在附图中：
图1表示一种公知的视频数据编码器；
图2表示一个视频数据译码器；
图3表示本发明的视频数据编码器。
图3所示编码器的视频数据输入信号IE中包含用于编码的宏块数据。对于帧内视频数据来说，减法器SUB简单允许这些数据通过。在离散余弦变换装置DCT和量化装置Q中对数据进行处理，并且提供给熵编码器ECOD，然后输出编码器的视频数据输出信号OE。例如可以用ECOD对系数和附加的首标信息以及运动矢量数据执行霍夫曼编码。
对于帧间视频数据来说，在减法器SUB中从输入信号IE中减去预测的宏块数据PMD，并且通过离散余弦变换装置DCT和量化装置Q将差数据提供给熵编码器ECOD。Q的输出信号还要在逆量化装置QE -1中进行处理，其输出信号以重建的宏块差数据RMDD的形式通过逆离散余弦变换装置DCTE -1提供给合成器ADDE。ADDE的输出信号被缓存在运动估算和补偿装置FS_MC_E中的一个帧存储器中，装置FS_MC_E执行对重建宏块数据的运动补偿，并且将按照这种方式预测的宏块数据PMD输出到SUB的减法输入端以及合成器ADDE的另一个输入端。可以用编码缓冲器ENCB的占用水平来控制量化装置Q，逆量化装置QE -1以及ECOD。QE -1,DCTE -1,ADDE，以及FS_MC_E构成了一个接收机端译码器的模拟，也结合图2来描述它。
在图2中，视频数据输入信号ID通过熵译码器装置EDEC、逆量化装置QD -1和逆离散余弦变换装置DCTD -1提供给合成器ADDD，由合成器输出视频数据输出信号OD。例如EDEC可对系数执行霍夫曼译码并对首标信息以及运动矢量数据进行译码和/估值。
QE -1和QD -1,DCTE -1和DCTD -1，以及ECOD的功能与Q,DCT，和ECOD的功能是相反的。ADDD的输出信号被缓存在运动补偿装置FS_MC_D中的一个帧存储器中。FS_MC_D的作用是对重建的宏块数据进行运动补偿。
在公知的译码器中，仅仅在帧间译码的宏块数据的情况下才把在FS_MC_D中预测的宏块数据PMD提供给合成器ADDE的第二输入端。对于帧内译码的宏块数据来说，合成器ADDD简单地让DCTD -1的输出信号通过。
在按照本发明的不接收帧内编码的I图像的译码器中，在FS_MC_D中预测的宏块数据PMD始终提供给合成器ADDE的第二输入端。因此，本发明的这种译码器在结构上可以比公知的译码器更加简化。可以避免对是存在帧内编码还是存在帧间编码视频数据进行检测。同样也可以避免ADDD在两种模式之间的转换。在开始对图像序列译码时，FS_MC_D或者另一个单元仅仅需要为ADDE或者ADDD本身的第二输入端产生译码起始图像的灰度图像数据。然而，对于数字图像的处理来说，这仅仅意味着询问或者提供一组固定的数字值，也就是最小的支出。然后，例如在规定数量的译码图像之后，输出OD才可以输出一个输出图像供观众观看。在此之前的图像可能被消隐，或者可显示一种灰度值，最好是上述的起始灰度值。
由于能够更快收敛预测误差，也可以自适应选择起始灰度值。例如，如果在开始译码瞬间在当前图像情况下宏块数据的DC差系数具有明显较大的正值，就可以选择很暗的起始灰度值。如果在开始译码瞬间在当前图像的情况下宏块数据的DC差系数具有明显较大的负值，就可以选择很亮的起始灰度值。如果在开始译码瞬间在当前图像的情况下宏块数据的DC差系数具有很小的值，起始灰度值就应该选择平均亮度值。
在图3所示的本发明的视频数据输入信号IE的编码器中包含了用于编码的宏块数据。
在按照本发明第一实施例的编码器中很少产生的帧内视频数据，它是按照N＞12的间隔产生的。另外，在本发明中使用了衰减D。在按照本发明第二实施例的编码器中不会产生帧内视频数据，而是仅仅使用了本发明的衰减。在第一实施例中，减法器SUB简单允许帧内视频数据通过。在两个实施例中，数据都是在离散余弦变换装置DCT和量化装置Q中进行处理的，并且提供给一个熵编码器ECOD，其输出编码器视频数据输出信号OE。
在帧内视频数据的情况下，在第一实施例中和总是在第二实施例中，在减法器SUB中从输入信号IE中减去预测和衰减的宏块数据PMDD，并且通过离散余弦变换装置DCT和量化装置Q将差数据提供给熵编码器ECOD。输出信号Q还要在逆量化装置QE -1中进行处理，其输出信号以重建的宏块差数据RMDD的形式通过逆离散余弦变换装置DCTE -1提供给合成器ADDE。ADDE的输出信号被缓存在运动估算和补偿装置FS_MC_E中的一个帧存储器中，装置FS_MC_E执行对重建宏块数据的运动补偿，并且将按照这种方式预测的宏块数据PMD输出到合成器ADDE的另一个输入端，以及通过一个衰减装置DU输出到SUB的减法输入端。用编码缓冲器ENCB的占用水平来控制量化装置Q、逆量化装置QE -1以及ECOD。
QE-1,DCTE-1,ADDE，以及FS_MC_E再次构成了一个接收机端译码器的模拟。
衰减单元DU例如通过乘以一个因子D来衰减输入的像素值。例如，小的D值处在0.1到0.3的范围内，而大的D值处在0.5到0.9的范围内。D值的范围最好是在0.4到0.8之间。DU还可以从所有像素值中仅减去一个恒定值，或者额外地减去一个恒定值，但是像素值不能小于黑色电平或者色度信号中对应黑色电平的值。可以用一个限幅器来保证像素值不会变成不允许的值。
用于亮度和色度信号编码的D值可以是不同的。本发明可以用来传输数字电视信号，或者在诸如因特网或电视电话等网络中用来传输数字视频信号，也可以用于记录或者控制诸如DVD等等光学或者磁性的存储媒体及其播放过程。

Claims (10)

1．一种图像序列(IE)的编码方法，对从关于图像序列像素值的差值形成的经过转换的视频数据系数(DCT,Q)执行熵编码(ECOD)，对转换的视频数据系数执行逆变换(QE -1,DCTE -1)，并且在预测形式(FS_MC_E,ADDE)下用来形成关于像素值的差值，其特征是，在形成(SUB)差值之前对预测像素值(PMD)的幅值进行衰减(DU)。
2．按照权利要求1的方法，其特征是编码的图像序列中不包含帧内编码的图像或者帧内编码的像素块。
3．按照权利要求1或2的方法，其特征是衰减是通过用一个预定的因子乘以预测的像素值来完成的。
4．按照权利要求1到3之一的方法，其特征是衰减是通过用一个预定的因子缩小预测像素值的绝对值来完成的。
5．对根据关于图像序列像素值的差值形成的经过转换和编码的视频数据系数(ID)的图像序列进行译码的方法，对熵译码(EDEC)的转换的视频数据系数执行逆变换(QD -1,DCTD -1)，并且照预测的形式(FS_MC_D)与差值加以组合(ADDD)，其特征是，用来决定转换和编码视频数据系数的差值是根据预测的像素值获得的，对像素值的幅值进行衰减，并且在开始译码时将逆变换的视频数据系数和一个灰度图像加以组合。
6．按照权利要求5的方法，其特征是要译码的图像序列中不包含帧内编码的图像或者帧内编码的像素块。
7．按照权利要求5或6的方法，其特征是起始图像的灰度值是按照自适应的方式确定的。
8．一种图像序列编码装置(IE)，包括：
-由像素值形成关于图像序列的差值的装置(SUB)，将图像序列的输入数据提供给该装置；
-用来形成转换的视频数据系数的装置(DCT,Q)，该系数是根据差值获得的；
-对转换的视频数据系数进行编码的熵编码器(ECOD)；
-用来形成逆变换视频数据系数的装置(QE -1,DCTE -1)，该系数是根据转换的视频数据系数获得的；
-用来形成预测像素值(PMD)的装置((FS_MC_E,ADDE))，其输出信号被用来形成差值，其特征是
-在使用预测像素值(PMD)形成差值之前用一个衰减装置(DU)来衰减预测的像素值。
9．一种图像序列译码装置，包括：
-用来对转换的视频数据系数译码的熵译码器(EDEC)；
-用来形成逆变换的译码视频数据系数的装置(QD -1,DCTD -1)，该系数中包含像素值的差值；
-用来形成预测像素值的装置(FS_MC_D)，其输出信号与差值加以组合，并且构成译码的图像序列，
其特征是，差值是根据预测的像素值获得的，在编码器一端衰减像素值的幅值，以及在开始译码时，在一个合成装置(ADDD)中将逆变换的视频数据系数和一个灰度图像加以组合。
10．一种光盘记录媒体，其特征是具有按照权利要求1到4之一的方法编码的视频数据(OE)。
CNB981226221A 1997-11-25 1998-11-23 为图像序列编码和译码的方法及装置 Expired - Fee Related CN1174636C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP97203687.5 1997-11-25
EP97203687A EP0920216A1 (de) 1997-11-25 1997-11-25 Verfahren und Vorrichtung zur Codierung und zur Decodierung einer Bildsequenz

Publications (2)

Publication Number Publication Date
CN1224979A true CN1224979A (zh) 1999-08-04
CN1174636C CN1174636C (zh) 2004-11-03

Family

ID=8228971

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB981226221A Expired - Fee Related CN1174636C (zh) 1997-11-25 1998-11-23 为图像序列编码和译码的方法及装置

Country Status (5)

Country Link
US (1) US6456656B1 (zh)
EP (1) EP0920216A1 (zh)
JP (1) JPH11243548A (zh)
CN (1) CN1174636C (zh)
DE (1) DE69811319T2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227610B (zh) * 2007-01-19 2013-03-20 三星电子株式会社 有效压缩和/或恢复二元图像的方法、介质和系统
CN101977312B (zh) * 2002-10-01 2013-08-21 阿沃森特公司 视频压缩系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1176833A3 (en) * 2000-07-25 2012-06-27 Panasonic Corporation Image decoding method, image decoding apparatus, and data storage medium
JP2002112275A (ja) * 2000-07-25 2002-04-12 Matsushita Electric Ind Co Ltd 画像復号方法、画像復号装置、およびデータ記憶媒体
US20040001547A1 (en) * 2002-06-26 2004-01-01 Debargha Mukherjee Scalable robust video compression
KR101456279B1 (ko) * 2008-01-03 2014-11-04 한국전자통신연구원 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화하는 장치 및 복호화 하는 장치
CN102378000B (zh) * 2010-08-13 2013-07-17 炬力集成电路设计有限公司 一种视频解码装置和方法
CN108965883B (zh) 2012-06-28 2022-08-30 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
US10778972B1 (en) 2019-02-27 2020-09-15 Google Llc Adaptive filter intra prediction modes in image/video compression

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745473A (en) * 1986-03-24 1988-05-17 Harris Corporation Hybrid image compression system
US4910586A (en) * 1988-11-22 1990-03-20 Broadband Technologies, Inc. Hybrid DPCM codec for composite color television signals
GB8914843D0 (en) * 1989-06-28 1989-08-16 British Aerospace A method of processing video image data for use in the storage or transmission of moving digital images
GB8920259D0 (en) * 1989-09-07 1989-10-18 British Broadcasting Corp Hybrid predictive coders and decoders for digital video signals
US5218435A (en) * 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
EP1137280B1 (en) * 1992-01-29 2003-04-02 Mitsubishi Denki Kabushiki Kaisha Video information recording/reproducing apparatus and method
US5367336A (en) * 1992-07-08 1994-11-22 At&T Bell Laboratories Truncation error correction for predictive coding/encoding
US5331348A (en) * 1992-07-27 1994-07-19 At&T Bell Laboratories Adaptive leak HDTV encoder
EP0622959B1 (en) * 1992-11-17 1999-08-11 Fujitsu Limited Digital video communication apparatus
US5519446A (en) * 1993-11-13 1996-05-21 Goldstar Co., Ltd. Apparatus and method for converting an HDTV signal to a non-HDTV signal
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US5680129A (en) * 1995-07-18 1997-10-21 Hewlett-Packard Company System and method for lossless image compression
US5790207A (en) * 1996-03-14 1998-08-04 Daewoo Electronics, Co., Ltd. Motion compensation method for use in an image encoding system
US5959693A (en) * 1997-05-07 1999-09-28 General Instrument Corporation Pixel adaptive noise reduction filter for digital video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977312B (zh) * 2002-10-01 2013-08-21 阿沃森特公司 视频压缩系统
CN101227610B (zh) * 2007-01-19 2013-03-20 三星电子株式会社 有效压缩和/或恢复二元图像的方法、介质和系统

Also Published As

Publication number Publication date
DE69811319D1 (de) 2003-03-20
US6456656B1 (en) 2002-09-24
JPH11243548A (ja) 1999-09-07
CN1174636C (zh) 2004-11-03
DE69811319T2 (de) 2003-09-18
EP0920216A1 (de) 1999-06-02

Similar Documents

Publication Publication Date Title
EP0987899B1 (en) Adaptive variable-length coding method for video data
CN1121120C (zh) 用于视频信号解码装置中用以去除分块效应的方法
US6956899B2 (en) Precise bit control apparatus with look-ahead for MPEG encoding
JPH08205180A (ja) ２ステージビデオフィルム圧縮方法及びシステム
CN100555332C (zh) 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置
CN1366778A (zh) 视频压缩
CN110933430B (zh) 二次编码优化方法
JP2000102004A (ja) 画像処理装置および方法、並びに提供媒体
US5606372A (en) Video signal decoding apparatus capable of reducing blocking effects
US20030016745A1 (en) Multi-channel image encoding apparatus and encoding method thereof
CN1199468C (zh) 图像数据压缩
CN1174636C (zh) 为图像序列编码和译码的方法及装置
JPH0638194A (ja) 符号化装置
US20060133491A1 (en) Video codec
CN1124041C (zh) 对解码视频图象的量化误差进行补偿的方法及装置
CN1166208C (zh) 代码转换方法和设备
KR100384327B1 (ko) 블록-기반코딩시스템에서코딩모드를선택하기위한방법및장치
JPH10243397A (ja) 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
JPH07135657A (ja) 符号化方法と符号化装置
KR970003100B1 (ko) 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법
JPH09191458A (ja) 動画像圧縮符号化方法及びその装置
JPH07111653A (ja) 符号化装置
EP0920217B1 (en) Method and apparatus for coding and for decoding a picture sequence
CN1823530A (zh) 编码方法和设备
CN1419378A (zh) 数字视频信号的压缩方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041103

Termination date: 20161123